Linear-MoE: Линейное моделирование последовательностей встречается с ансамблем экспертов

Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts

March 7, 2025

Авторы: Weigao Sun, Disen Lan, Tong Zhu, Xiaoye Qu, Yu Cheng

cs.AI

Аннотация

Линейное моделирование последовательностей (Linear Sequence Modeling, LSM), включая линейное внимание, модели пространства состояний и линейные рекуррентные нейронные сети (RNN), а также смесь экспертов (Mixture-of-Experts, MoE), недавно стали значительными архитектурными улучшениями. В данной статье мы представляем Linear-MoE — производственную систему для моделирования и обучения крупномасштабных моделей, которые интегрируют LSM с MoE. Linear-MoE использует преимущества как модулей LSM для линейного по сложности моделирования последовательностей, так и слоев MoE для разреженной активации, стремясь обеспечить высокую производительность при эффективном обучении. Система Linear-MoE включает: 1) Подсистему моделирования, которая предоставляет унифицированную структуру, поддерживающую все варианты LSM, и 2) Подсистему обучения, которая обеспечивает эффективное обучение за счет внедрения различных передовых технологий параллелизма, в частности, параллелизма последовательностей (Sequence Parallelism), разработанного для моделей Linear-MoE. Кроме того, мы исследуем гибридные модели, сочетающие слои Linear-MoE со стандартными слоями Transformer-MoE и их параллелизмом последовательностей, чтобы дополнительно повысить гибкость и производительность модели. Оценки на двух сериях моделей, A0.3B-2B и A1B-7B, демонстрируют, что Linear-MoE достигает повышения эффективности, сохраняя при этом конкурентоспособную производительность на различных тестах, что подчеркивает его потенциал в качестве архитектуры моделей следующего поколения. Код: https://github.com/OpenSparseLLMs/Linear-MoE.

English

Linear Sequence Modeling (LSM) like linear attention, state space models and linear RNNs, and Mixture-of-Experts (MoE) have recently emerged as significant architectural improvements. In this paper, we introduce Linear-MoE, a production-level system for modeling and training large-scale models that integrate LSM with MoE. Linear-MoE leverages the advantages of both LSM modules for linear-complexity sequence modeling and MoE layers for sparsely activation, aiming to offer high performance with efficient training. The Linear-MoE system comprises: 1) Modeling subsystem, which provides a unified framework supporting all instances of LSM. and 2) Training subsystem, which facilitates efficient training by incorporating various advanced parallelism technologies, particularly Sequence Parallelism designed for Linear-MoE models. Additionally, we explore hybrid models that combine Linear-MoE layers with standard Transformer-MoE layers with its Sequence Parallelism to further enhance model flexibility and performance. Evaluations on two model series, A0.3B-2B and A1B-7B, demonstrate Linear-MoE achieves efficiency gains while maintaining competitive performance on various benchmarks, showcasing its potential as a next-generation foundational model architecture. Code: https://github.com/OpenSparseLLMs/Linear-MoE.