DenseMamba : Modèles à espace d'états avec connexion cachée dense pour des modèles de langage à grande échelle efficaces

DenseMamba: State Space Models with Dense Hidden Connection for Efficient Large Language Models

February 26, 2024

Auteurs: Wei He, Kai Han, Yehui Tang, Chengcheng Wang, Yujie Yang, Tianyu Guo, Yunhe Wang

cs.AI

Résumé

Les grands modèles de langage (LLMs) sont confrontés à un défi de taille en raison des exigences excessives en calcul et en mémoire de l'architecture Transformer couramment utilisée. Bien que les modèles à espace d'état (SSM) constituent un nouveau type d'architecture de réseau fondamental offrant une complexité computationnelle réduite, leurs performances ne rivalisent pas encore pleinement avec celles des Transformers. Cet article présente DenseSSM, une approche novatrice visant à améliorer le flux d'informations cachées entre les couches dans les SSM. En intégrant de manière sélective les états cachés des couches superficielles dans les couches plus profondes, DenseSSM conserve les informations fines cruciales pour la sortie finale. Les connexions denses améliorées de DenseSSM maintiennent toujours la parallélisabilité de l'entraînement et l'efficacité de l'inférence. La méthode proposée peut être largement applicable à divers types de SSM comme RetNet et Mamba. Avec une taille de modèle similaire, DenseSSM réalise des améliorations significatives, illustrées par DenseRetNet surpassant le RetNet original avec une amélioration allant jusqu'à 5 % en précision sur des benchmarks publics.

English

Large language models (LLMs) face a daunting challenge due to the excessive computational and memory requirements of the commonly used Transformer architecture. While state space model (SSM) is a new type of foundational network architecture offering lower computational complexity, their performance has yet to fully rival that of Transformers. This paper introduces DenseSSM, a novel approach to enhance the flow of hidden information between layers in SSMs. By selectively integrating shallowlayer hidden states into deeper layers, DenseSSM retains fine-grained information crucial for the final output. Dense connections enhanced DenseSSM still maintains the training parallelizability and inference efficiency. The proposed method can be widely applicable to various SSM types like RetNet and Mamba. With similar model size, DenseSSM achieves significant improvements, exemplified by DenseRetNet outperforming the original RetNet with up to 5% accuracy improvement on public benchmarks.