Linear-MoE: 선형 시퀀스 모델링과 전문가 혼합의 만남

Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts

March 7, 2025

저자: Weigao Sun, Disen Lan, Tong Zhu, Xiaoye Qu, Yu Cheng

cs.AI

초록

선형 시퀀스 모델링(Linear Sequence Modeling, LSM)과 같은 선형 어텐션, 상태 공간 모델, 선형 RNN, 그리고 전문가 혼합(Mixture-of-Experts, MoE)은 최근 중요한 아키텍처 개선으로 부상했습니다. 본 논문에서는 LSM과 MoE를 통합한 대규모 모델의 모델링과 학습을 위한 프로덕션 수준 시스템인 Linear-MoE를 소개합니다. Linear-MoE는 선형 복잡도의 시퀀스 모델링을 위한 LSM 모듈과 희소 활성화를 위한 MoE 레이어의 장점을 모두 활용하여 효율적인 학습과 함께 높은 성능을 제공하는 것을 목표로 합니다. Linear-MoE 시스템은 다음과 같이 구성됩니다: 1) 모든 LSM 인스턴스를 지원하는 통합 프레임워크를 제공하는 모델링 서브시스템, 2) 특히 Linear-MoE 모델을 위해 설계된 시퀀스 병렬화를 포함한 다양한 고급 병렬화 기술을 통해 효율적인 학습을 가능하게 하는 학습 서브시스템. 또한, Linear-MoE 레이어와 표준 Transformer-MoE 레이어를 결합한 하이브리드 모델을 탐구하여 모델의 유연성과 성능을 더욱 향상시킵니다. A0.3B-2B 및 A1B-7B 두 모델 시리즈에 대한 평가에서 Linear-MoE는 다양한 벤치마크에서 경쟁력 있는 성능을 유지하면서 효율성 향상을 달성했으며, 이를 통해 차세대 기초 모델 아키텍처로서의 잠재력을 입증했습니다. 코드: https://github.com/OpenSparseLLMs/Linear-MoE.

English

Linear Sequence Modeling (LSM) like linear attention, state space models and linear RNNs, and Mixture-of-Experts (MoE) have recently emerged as significant architectural improvements. In this paper, we introduce Linear-MoE, a production-level system for modeling and training large-scale models that integrate LSM with MoE. Linear-MoE leverages the advantages of both LSM modules for linear-complexity sequence modeling and MoE layers for sparsely activation, aiming to offer high performance with efficient training. The Linear-MoE system comprises: 1) Modeling subsystem, which provides a unified framework supporting all instances of LSM. and 2) Training subsystem, which facilitates efficient training by incorporating various advanced parallelism technologies, particularly Sequence Parallelism designed for Linear-MoE models. Additionally, we explore hybrid models that combine Linear-MoE layers with standard Transformer-MoE layers with its Sequence Parallelism to further enhance model flexibility and performance. Evaluations on two model series, A0.3B-2B and A1B-7B, demonstrate Linear-MoE achieves efficiency gains while maintaining competitive performance on various benchmarks, showcasing its potential as a next-generation foundational model architecture. Code: https://github.com/OpenSparseLLMs/Linear-MoE.