DenseMamba: Zustandsraummodelle mit dichten verborgenen Verbindungen für effiziente große Sprachmodelle

DenseMamba: State Space Models with Dense Hidden Connection for Efficient Large Language Models

February 26, 2024

Autoren: Wei He, Kai Han, Yehui Tang, Chengcheng Wang, Yujie Yang, Tianyu Guo, Yunhe Wang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) stehen vor einer enormen Herausforderung aufgrund der übermäßigen Rechen- und Speicheranforderungen der häufig verwendeten Transformer-Architektur. Während State-Space-Modelle (SSMs) eine neue Art von grundlegenden Netzwerkarchitekturen darstellen, die eine geringere Rechenkomplexität bieten, konnte ihre Leistung bisher noch nicht vollständig mit der von Transformern mithalten. Dieses Artikel stellt DenseSSM vor, einen neuartigen Ansatz zur Verbesserung des Flusses versteckter Informationen zwischen den Schichten in SSMs. Durch die selektive Integration von versteckten Zuständen aus flachen Schichten in tiefere Schichten behält DenseSSM feinkörnige Informationen bei, die für die endgültige Ausgabe entscheidend sind. Dichte Verbindungen, die DenseSSM verbessern, bewahren weiterhin die Parallelisierbarkeit beim Training und die Effizienz bei der Inferenz. Die vorgeschlagene Methode kann auf verschiedene SSM-Typen wie RetNet und Mamba weitgehend anwendbar sein. Bei ähnlicher Modellgröße erzielt DenseSSM signifikante Verbesserungen, wie beispielsweise DenseRetNet, das das ursprüngliche RetNet auf öffentlichen Benchmarks mit einer Genauigkeitssteigerung von bis zu 5 % übertrifft.

English

Large language models (LLMs) face a daunting challenge due to the excessive computational and memory requirements of the commonly used Transformer architecture. While state space model (SSM) is a new type of foundational network architecture offering lower computational complexity, their performance has yet to fully rival that of Transformers. This paper introduces DenseSSM, a novel approach to enhance the flow of hidden information between layers in SSMs. By selectively integrating shallowlayer hidden states into deeper layers, DenseSSM retains fine-grained information crucial for the final output. Dense connections enhanced DenseSSM still maintains the training parallelizability and inference efficiency. The proposed method can be widely applicable to various SSM types like RetNet and Mamba. With similar model size, DenseSSM achieves significant improvements, exemplified by DenseRetNet outperforming the original RetNet with up to 5% accuracy improvement on public benchmarks.