Linear-MoE : Modélisation de séquences linéaires rencontre les mélanges d'experts

Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts

March 7, 2025

Auteurs: Weigao Sun, Disen Lan, Tong Zhu, Xiaoye Qu, Yu Cheng

cs.AI

Résumé

La modélisation de séquences linéaires (Linear Sequence Modeling, LSM), comme l'attention linéaire, les modèles à espace d'états et les RNN linéaires, ainsi que les modèles Mixture-of-Experts (MoE), ont récemment émergé comme des améliorations architecturales significatives. Dans cet article, nous présentons Linear-MoE, un système de niveau production pour la modélisation et l'entraînement de modèles à grande échelle qui intègrent LSM avec MoE. Linear-MoE tire parti des avantages des modules LSM pour la modélisation de séquences à complexité linéaire et des couches MoE pour une activation parcimonieuse, visant à offrir des performances élevées avec un entraînement efficace. Le système Linear-MoE comprend : 1) un sous-système de modélisation, qui fournit un cadre unifié prenant en charge toutes les instances de LSM, et 2) un sous-système d'entraînement, qui facilite un entraînement efficace en intégrant diverses technologies de parallélisme avancées, en particulier le parallélisme de séquences conçu pour les modèles Linear-MoE. De plus, nous explorons des modèles hybrides qui combinent des couches Linear-MoE avec des couches Transformer-MoE standard et leur parallélisme de séquences pour améliorer davantage la flexibilité et les performances du modèle. Les évaluations sur deux séries de modèles, A0.3B-2B et A1B-7B, démontrent que Linear-MoE obtient des gains d'efficacité tout en maintenant des performances compétitives sur divers benchmarks, illustrant son potentiel en tant qu'architecture de modèle fondamental de nouvelle génération. Code : https://github.com/OpenSparseLLMs/Linear-MoE.

English

Linear Sequence Modeling (LSM) like linear attention, state space models and linear RNNs, and Mixture-of-Experts (MoE) have recently emerged as significant architectural improvements. In this paper, we introduce Linear-MoE, a production-level system for modeling and training large-scale models that integrate LSM with MoE. Linear-MoE leverages the advantages of both LSM modules for linear-complexity sequence modeling and MoE layers for sparsely activation, aiming to offer high performance with efficient training. The Linear-MoE system comprises: 1) Modeling subsystem, which provides a unified framework supporting all instances of LSM. and 2) Training subsystem, which facilitates efficient training by incorporating various advanced parallelism technologies, particularly Sequence Parallelism designed for Linear-MoE models. Additionally, we explore hybrid models that combine Linear-MoE layers with standard Transformer-MoE layers with its Sequence Parallelism to further enhance model flexibility and performance. Evaluations on two model series, A0.3B-2B and A1B-7B, demonstrate Linear-MoE achieves efficiency gains while maintaining competitive performance on various benchmarks, showcasing its potential as a next-generation foundational model architecture. Code: https://github.com/OpenSparseLLMs/Linear-MoE.