Linear-MoE: Lineare Sequenzmodellierung trifft auf Mixture-of-Experts

Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts

March 7, 2025

Autoren: Weigao Sun, Disen Lan, Tong Zhu, Xiaoye Qu, Yu Cheng

cs.AI

Zusammenfassung

Lineare Sequenzmodellierung (Linear Sequence Modeling, LSM) wie lineare Aufmerksamkeit, Zustandsraummodelle und lineare RNNs sowie Mixture-of-Experts (MoE) haben sich in letzter Zeit als bedeutende architektonische Verbesserungen herausgestellt. In diesem Artikel stellen wir Linear-MoE vor, ein produktionsreifes System zur Modellierung und zum Training von großskaligen Modellen, die LSM mit MoE integrieren. Linear-MoE nutzt die Vorteile sowohl der LSM-Module für die Sequenzmodellierung mit linearer Komplexität als auch der MoE-Schichten für spärliche Aktivierung, um hohe Leistung bei effizientem Training zu bieten. Das Linear-MoE-System besteht aus: 1) einem Modellierungssubsystem, das einen einheitlichen Rahmen bietet, der alle Instanzen von LSM unterstützt, und 2) einem Trainingssubsystem, das effizientes Training durch die Einbindung verschiedener fortschrittlicher Parallelitätstechnologien ermöglicht, insbesondere Sequence Parallelism, das für Linear-MoE-Modelle entwickelt wurde. Zusätzlich untersuchen wir hybride Modelle, die Linear-MoE-Schichten mit Standard-Transformer-MoE-Schichten und deren Sequence Parallelism kombinieren, um die Modellflexibilität und -leistung weiter zu steigern. Evaluierungen an zwei Modellserien, A0.3B-2B und A1B-7B, zeigen, dass Linear-MoE Effizienzgewinne erzielt, während es eine wettbewerbsfähige Leistung auf verschiedenen Benchmarks beibehält, was sein Potenzial als nächste Generation von Grundlagenmodellarchitekturen unterstreicht. Code: https://github.com/OpenSparseLLMs/Linear-MoE.

English

Linear Sequence Modeling (LSM) like linear attention, state space models and linear RNNs, and Mixture-of-Experts (MoE) have recently emerged as significant architectural improvements. In this paper, we introduce Linear-MoE, a production-level system for modeling and training large-scale models that integrate LSM with MoE. Linear-MoE leverages the advantages of both LSM modules for linear-complexity sequence modeling and MoE layers for sparsely activation, aiming to offer high performance with efficient training. The Linear-MoE system comprises: 1) Modeling subsystem, which provides a unified framework supporting all instances of LSM. and 2) Training subsystem, which facilitates efficient training by incorporating various advanced parallelism technologies, particularly Sequence Parallelism designed for Linear-MoE models. Additionally, we explore hybrid models that combine Linear-MoE layers with standard Transformer-MoE layers with its Sequence Parallelism to further enhance model flexibility and performance. Evaluations on two model series, A0.3B-2B and A1B-7B, demonstrate Linear-MoE achieves efficiency gains while maintaining competitive performance on various benchmarks, showcasing its potential as a next-generation foundational model architecture. Code: https://github.com/OpenSparseLLMs/Linear-MoE.