Linear-MoE: Lineaire Sequentieverwerking Ontmoet Mixture-of-Experts

Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts

March 7, 2025

Auteurs: Weigao Sun, Disen Lan, Tong Zhu, Xiaoye Qu, Yu Cheng

cs.AI

Samenvatting

Lineaire Sequentiemodellering (LSM), zoals lineaire aandacht, toestandsruimtemodellen en lineaire RNN's, en Mixture-of-Experts (MoE) zijn recent naar voren gekomen als belangrijke architectuurverbeteringen. In dit artikel introduceren we Linear-MoE, een productieniveau systeem voor het modelleren en trainen van grootschalige modellen die LSM integreren met MoE. Linear-MoE benut de voordelen van zowel LSM-modules voor lineaire-complexiteit sequentiemodellering als MoE-lagen voor spaarse activatie, met als doel hoge prestaties te bieden met efficiënte training. Het Linear-MoE systeem bestaat uit: 1) een modelleringssubsysteem, dat een uniform raamwerk biedt dat alle instanties van LSM ondersteunt, en 2) een trainingssubsysteem, dat efficiënte training mogelijk maakt door het incorporeren van verschillende geavanceerde parallelisme-technologieën, met name Sequentie Parallelisme dat is ontworpen voor Linear-MoE modellen. Daarnaast onderzoeken we hybride modellen die Linear-MoE lagen combineren met standaard Transformer-MoE lagen met zijn Sequentie Parallelisme om de modelflexibiliteit en prestaties verder te verbeteren. Evaluaties op twee modelreeksen, A0.3B-2B en A1B-7B, tonen aan dat Linear-MoE efficiëntiewinsten behaalt terwijl het competitieve prestaties behoudt op verschillende benchmarks, wat het potentieel ervan aantoont als een volgende-generatie fundamentele modelarchitectuur. Code: https://github.com/OpenSparseLLMs/Linear-MoE.

English

Linear Sequence Modeling (LSM) like linear attention, state space models and linear RNNs, and Mixture-of-Experts (MoE) have recently emerged as significant architectural improvements. In this paper, we introduce Linear-MoE, a production-level system for modeling and training large-scale models that integrate LSM with MoE. Linear-MoE leverages the advantages of both LSM modules for linear-complexity sequence modeling and MoE layers for sparsely activation, aiming to offer high performance with efficient training. The Linear-MoE system comprises: 1) Modeling subsystem, which provides a unified framework supporting all instances of LSM. and 2) Training subsystem, which facilitates efficient training by incorporating various advanced parallelism technologies, particularly Sequence Parallelism designed for Linear-MoE models. Additionally, we explore hybrid models that combine Linear-MoE layers with standard Transformer-MoE layers with its Sequence Parallelism to further enhance model flexibility and performance. Evaluations on two model series, A0.3B-2B and A1B-7B, demonstrate Linear-MoE achieves efficiency gains while maintaining competitive performance on various benchmarks, showcasing its potential as a next-generation foundational model architecture. Code: https://github.com/OpenSparseLLMs/Linear-MoE.