Linear-MoE: Modellazione di Sequenze Lineari incontra la Miscela di Esperti

Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts

March 7, 2025

Autori: Weigao Sun, Disen Lan, Tong Zhu, Xiaoye Qu, Yu Cheng

cs.AI

Abstract

La modellazione di sequenze lineari (Linear Sequence Modeling, LSM), come l'attenzione lineare, i modelli a spazio di stati e le RNN lineari, e il Mixture-of-Experts (MoE) sono recentemente emersi come significativi miglioramenti architetturali. In questo articolo, introduciamo Linear-MoE, un sistema di livello produttivo per la modellazione e l'addestramento di modelli su larga scala che integrano LSM con MoE. Linear-MoE sfrutta i vantaggi sia dei moduli LSM per la modellazione di sequenze con complessità lineare, sia dei livelli MoE per l'attivazione sparsa, con l'obiettivo di offrire alte prestazioni con un addestramento efficiente. Il sistema Linear-MoE comprende: 1) un sottosistema di modellazione, che fornisce un framework unificato che supporta tutte le istanze di LSM, e 2) un sottosistema di addestramento, che facilita un addestramento efficiente incorporando varie tecnologie avanzate di parallelismo, in particolare il Parallelismo di Sequenza progettato per i modelli Linear-MoE. Inoltre, esploriamo modelli ibridi che combinano livelli Linear-MoE con livelli standard Transformer-MoE e il loro Parallelismo di Sequenza per migliorare ulteriormente la flessibilità e le prestazioni del modello. Le valutazioni su due serie di modelli, A0.3B-2B e A1B-7B, dimostrano che Linear-MoE ottiene guadagni di efficienza mantenendo prestazioni competitive su vari benchmark, mostrando il suo potenziale come architettura di modello fondazionale di prossima generazione. Codice: https://github.com/OpenSparseLLMs/Linear-MoE.

English

Linear Sequence Modeling (LSM) like linear attention, state space models and linear RNNs, and Mixture-of-Experts (MoE) have recently emerged as significant architectural improvements. In this paper, we introduce Linear-MoE, a production-level system for modeling and training large-scale models that integrate LSM with MoE. Linear-MoE leverages the advantages of both LSM modules for linear-complexity sequence modeling and MoE layers for sparsely activation, aiming to offer high performance with efficient training. The Linear-MoE system comprises: 1) Modeling subsystem, which provides a unified framework supporting all instances of LSM. and 2) Training subsystem, which facilitates efficient training by incorporating various advanced parallelism technologies, particularly Sequence Parallelism designed for Linear-MoE models. Additionally, we explore hybrid models that combine Linear-MoE layers with standard Transformer-MoE layers with its Sequence Parallelism to further enhance model flexibility and performance. Evaluations on two model series, A0.3B-2B and A1B-7B, demonstrate Linear-MoE achieves efficiency gains while maintaining competitive performance on various benchmarks, showcasing its potential as a next-generation foundational model architecture. Code: https://github.com/OpenSparseLLMs/Linear-MoE.