DenseMamba: Modelli a Spazio di Stato con Connessioni Nascoste Dense per Modelli Linguistici di Grande Scala Efficienti

DenseMamba: State Space Models with Dense Hidden Connection for Efficient Large Language Models

February 26, 2024

Autori: Wei He, Kai Han, Yehui Tang, Chengcheng Wang, Yujie Yang, Tianyu Guo, Yunhe Wang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) affrontano una sfida impegnativa a causa degli eccessivi requisiti computazionali e di memoria dell'architettura Transformer comunemente utilizzata. Sebbene i modelli a spazio di stato (SSM) rappresentino un nuovo tipo di architettura di rete di base che offre una complessità computazionale inferiore, le loro prestazioni non hanno ancora pienamente eguagliato quelle dei Transformer. Questo articolo introduce DenseSSM, un approccio innovativo per migliorare il flusso di informazioni nascoste tra i livelli negli SSM. Integrando selettivamente gli stati nascosti dei livelli superficiali in quelli più profondi, DenseSSM conserva informazioni dettagliate cruciali per l'output finale. Le connessioni dense potenziate di DenseSSM mantengono comunque la parallelizzabilità durante l'addestramento e l'efficienza nell'inferenza. Il metodo proposto può essere ampiamente applicabile a vari tipi di SSM come RetNet e Mamba. Con dimensioni del modello simili, DenseSSM ottiene miglioramenti significativi, come dimostrato da DenseRetNet che supera il RetNet originale con un miglioramento dell'accuratezza fino al 5% su benchmark pubblici.

English

Large language models (LLMs) face a daunting challenge due to the excessive computational and memory requirements of the commonly used Transformer architecture. While state space model (SSM) is a new type of foundational network architecture offering lower computational complexity, their performance has yet to fully rival that of Transformers. This paper introduces DenseSSM, a novel approach to enhance the flow of hidden information between layers in SSMs. By selectively integrating shallowlayer hidden states into deeper layers, DenseSSM retains fine-grained information crucial for the final output. Dense connections enhanced DenseSSM still maintains the training parallelizability and inference efficiency. The proposed method can be widely applicable to various SSM types like RetNet and Mamba. With similar model size, DenseSSM achieves significant improvements, exemplified by DenseRetNet outperforming the original RetNet with up to 5% accuracy improvement on public benchmarks.