DenseMamba: Модели пространства состояний с плотными скрытыми соединениями для эффективных больших языковых моделей

DenseMamba: State Space Models with Dense Hidden Connection for Efficient Large Language Models

February 26, 2024

Авторы: Wei He, Kai Han, Yehui Tang, Chengcheng Wang, Yujie Yang, Tianyu Guo, Yunhe Wang

cs.AI

Аннотация

Большие языковые модели (LLM) сталкиваются с огромным вызовом из-за избыточных вычислительных и памятных требований, характерных для широко используемой архитектуры Трансформера. В то время как модель пространства состояний (SSM) представляет собой новый тип базовой сетевой архитектуры с более низкой вычислительной сложностью, ее производительность пока не полностью соответствует уровню Трансформеров. В данной статье представлен DenseSSM, новый подход для улучшения потока скрытой информации между слоями в SSM. Путем выборочного интегрирования скрытых состояний неглубоких слоев в более глубокие слои DenseSSM сохраняет детализированную информацию, критически важную для конечного результата. Плотные соединения, улучшающие DenseSSM, все еще сохраняют параллелизуемость обучения и эффективность вывода. Предложенный метод может быть широко применим к различным типам SSM, таким как RetNet и Mamba. При сходном размере модели DenseSSM достигает значительных улучшений, как показано на примере DenseRetNet, превосходящего оригинальный RetNet на общедоступных бенчмарках с улучшением точности до 5%.

English

Large language models (LLMs) face a daunting challenge due to the excessive computational and memory requirements of the commonly used Transformer architecture. While state space model (SSM) is a new type of foundational network architecture offering lower computational complexity, their performance has yet to fully rival that of Transformers. This paper introduces DenseSSM, a novel approach to enhance the flow of hidden information between layers in SSMs. By selectively integrating shallowlayer hidden states into deeper layers, DenseSSM retains fine-grained information crucial for the final output. Dense connections enhanced DenseSSM still maintains the training parallelizability and inference efficiency. The proposed method can be widely applicable to various SSM types like RetNet and Mamba. With similar model size, DenseSSM achieves significant improvements, exemplified by DenseRetNet outperforming the original RetNet with up to 5% accuracy improvement on public benchmarks.