Linear-MoE: 線形シーケンスモデリングとエキスパートの混合の融合

Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts

March 7, 2025

著者: Weigao Sun, Disen Lan, Tong Zhu, Xiaoye Qu, Yu Cheng

cs.AI

要旨

線形シーケンスモデリング（LSM）である線形アテンション、状態空間モデル、線形RNN、およびMixture-of-Experts（MoE）は、最近重要なアーキテクチャの改善として登場しました。本論文では、LSMとMoEを統合した大規模モデルのモデリングとトレーニングのためのプロダクションレベルシステムであるLinear-MoEを紹介します。Linear-MoEは、線形計算量のシーケンスモデリングのためのLSMモジュールと、疎な活性化のためのMoEレイヤーの両方の利点を活用し、効率的なトレーニングで高性能を提供することを目指しています。Linear-MoEシステムは以下の要素で構成されます：1）モデリングサブシステム。これは、すべてのLSMインスタンスをサポートする統一フレームワークを提供します。2）トレーニングサブシステム。これは、特にLinear-MoEモデル向けに設計されたシーケンス並列処理を含む、さまざまな高度な並列処理技術を組み込むことで効率的なトレーニングを促進します。さらに、Linear-MoEレイヤーと標準のTransformer-MoEレイヤーを組み合わせたハイブリッドモデルを探索し、そのシーケンス並列処理を活用してモデルの柔軟性と性能をさらに向上させます。A0.3B-2BおよびA1B-7Bの2つのモデルシリーズでの評価により、Linear-MoEがさまざまなベンチマークで競争力のある性能を維持しながら効率性を向上させることが示され、次世代の基盤モデルアーキテクチャとしての可能性が示されています。コード：https://github.com/OpenSparseLLMs/Linear-MoE。

English

Linear Sequence Modeling (LSM) like linear attention, state space models and linear RNNs, and Mixture-of-Experts (MoE) have recently emerged as significant architectural improvements. In this paper, we introduce Linear-MoE, a production-level system for modeling and training large-scale models that integrate LSM with MoE. Linear-MoE leverages the advantages of both LSM modules for linear-complexity sequence modeling and MoE layers for sparsely activation, aiming to offer high performance with efficient training. The Linear-MoE system comprises: 1) Modeling subsystem, which provides a unified framework supporting all instances of LSM. and 2) Training subsystem, which facilitates efficient training by incorporating various advanced parallelism technologies, particularly Sequence Parallelism designed for Linear-MoE models. Additionally, we explore hybrid models that combine Linear-MoE layers with standard Transformer-MoE layers with its Sequence Parallelism to further enhance model flexibility and performance. Evaluations on two model series, A0.3B-2B and A1B-7B, demonstrate Linear-MoE achieves efficiency gains while maintaining competitive performance on various benchmarks, showcasing its potential as a next-generation foundational model architecture. Code: https://github.com/OpenSparseLLMs/Linear-MoE.