Linear-MoE: Modelagem de Sequências Lineares Encontra a Mistura de Especialistas

Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts

March 7, 2025

Autores: Weigao Sun, Disen Lan, Tong Zhu, Xiaoye Qu, Yu Cheng

cs.AI

Resumo

Modelagem de Sequência Linear (Linear Sequence Modeling - LSM), como atenção linear, modelos de espaço de estado e RNNs lineares, e Mistura de Especialistas (Mixture-of-Experts - MoE) surgiram recentemente como melhorias arquitetônicas significativas. Neste artigo, apresentamos o Linear-MoE, um sistema de nível de produção para modelagem e treinamento de modelos em larga escala que integram LSM com MoE. O Linear-MoE aproveita as vantagens tanto dos módulos LSM para modelagem de sequência com complexidade linear quanto das camadas MoE para ativação esparsa, visando oferecer alto desempenho com treinamento eficiente. O sistema Linear-MoE compreende: 1) Subsistema de Modelagem, que fornece uma estrutura unificada que suporta todas as instâncias de LSM, e 2) Subsistema de Treinamento, que facilita o treinamento eficiente ao incorporar várias tecnologias avançadas de paralelismo, particularmente o Paralelismo de Sequência projetado para modelos Linear-MoE. Além disso, exploramos modelos híbridos que combinam camadas Linear-MoE com camadas Transformer-MoE padrão, juntamente com seu Paralelismo de Sequência, para aprimorar ainda mais a flexibilidade e o desempenho do modelo. Avaliações em duas séries de modelos, A0.3B-2B e A1B-7B, demonstram que o Linear-MoE alcança ganhos de eficiência enquanto mantém um desempenho competitivo em vários benchmarks, mostrando seu potencial como uma arquitetura de modelo fundamental de próxima geração. Código: https://github.com/OpenSparseLLMs/Linear-MoE.

English

Linear Sequence Modeling (LSM) like linear attention, state space models and linear RNNs, and Mixture-of-Experts (MoE) have recently emerged as significant architectural improvements. In this paper, we introduce Linear-MoE, a production-level system for modeling and training large-scale models that integrate LSM with MoE. Linear-MoE leverages the advantages of both LSM modules for linear-complexity sequence modeling and MoE layers for sparsely activation, aiming to offer high performance with efficient training. The Linear-MoE system comprises: 1) Modeling subsystem, which provides a unified framework supporting all instances of LSM. and 2) Training subsystem, which facilitates efficient training by incorporating various advanced parallelism technologies, particularly Sequence Parallelism designed for Linear-MoE models. Additionally, we explore hybrid models that combine Linear-MoE layers with standard Transformer-MoE layers with its Sequence Parallelism to further enhance model flexibility and performance. Evaluations on two model series, A0.3B-2B and A1B-7B, demonstrate Linear-MoE achieves efficiency gains while maintaining competitive performance on various benchmarks, showcasing its potential as a next-generation foundational model architecture. Code: https://github.com/OpenSparseLLMs/Linear-MoE.