DenseMamba: Modelos de Espacio de Estados con Conexión Oculta Densa para Modelos de Lenguaje Grandes Eficientes

DenseMamba: State Space Models with Dense Hidden Connection for Efficient Large Language Models

February 26, 2024

Autores: Wei He, Kai Han, Yehui Tang, Chengcheng Wang, Yujie Yang, Tianyu Guo, Yunhe Wang

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs) enfrentan un desafío formidable debido a los excesivos requisitos computacionales y de memoria de la arquitectura Transformer, comúnmente utilizada. Aunque los modelos de espacio de estados (SSM) representan un nuevo tipo de arquitectura de red fundamental que ofrece una menor complejidad computacional, su rendimiento aún no iguala por completo al de los Transformers. Este artículo presenta DenseSSM, un enfoque novedoso para mejorar el flujo de información oculta entre capas en los SSMs. Al integrar selectivamente los estados ocultos de capas superficiales en capas más profundas, DenseSSM conserva información detallada crucial para la salida final. Las conexiones densas mejoradas en DenseSSM mantienen la capacidad de paralelización durante el entrenamiento y la eficiencia en la inferencia. El método propuesto puede aplicarse ampliamente a diversos tipos de SSM, como RetNet y Mamba. Con un tamaño de modelo similar, DenseSSM logra mejoras significativas, como lo demuestra DenseRetNet, que supera al RetNet original con una mejora de hasta un 5% en precisión en benchmarks públicos.

English

Large language models (LLMs) face a daunting challenge due to the excessive computational and memory requirements of the commonly used Transformer architecture. While state space model (SSM) is a new type of foundational network architecture offering lower computational complexity, their performance has yet to fully rival that of Transformers. This paper introduces DenseSSM, a novel approach to enhance the flow of hidden information between layers in SSMs. By selectively integrating shallowlayer hidden states into deeper layers, DenseSSM retains fine-grained information crucial for the final output. Dense connections enhanced DenseSSM still maintains the training parallelizability and inference efficiency. The proposed method can be widely applicable to various SSM types like RetNet and Mamba. With similar model size, DenseSSM achieves significant improvements, exemplified by DenseRetNet outperforming the original RetNet with up to 5% accuracy improvement on public benchmarks.