Linear-MoE: Modelado de Secuencias Lineales Encuentra Mezcla de Expertos

Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts

March 7, 2025

Autores: Weigao Sun, Disen Lan, Tong Zhu, Xiaoye Qu, Yu Cheng

cs.AI

Resumen

El modelado de secuencias lineales (Linear Sequence Modeling, LSM), como la atención lineal, los modelos de espacio de estados y las RNNs lineales, junto con la Mezcla de Expertos (Mixture-of-Experts, MoE), han surgido recientemente como mejoras arquitectónicas significativas. En este artículo, presentamos Linear-MoE, un sistema de nivel de producción para modelar y entrenar modelos a gran escala que integran LSM con MoE. Linear-MoE aprovecha las ventajas tanto de los módulos LSM para el modelado de secuencias con complejidad lineal como de las capas MoE para la activación dispersa, con el objetivo de ofrecer alto rendimiento con un entrenamiento eficiente. El sistema Linear-MoE consta de: 1) Un subsistema de modelado, que proporciona un marco unificado que soporta todas las instancias de LSM, y 2) Un subsistema de entrenamiento, que facilita un entrenamiento eficiente al incorporar diversas tecnologías avanzadas de paralelismo, en particular el Paralelismo de Secuencias diseñado para modelos Linear-MoE. Además, exploramos modelos híbridos que combinan capas Linear-MoE con capas estándar Transformer-MoE y su Paralelismo de Secuencias para mejorar aún más la flexibilidad y el rendimiento del modelo. Las evaluaciones en dos series de modelos, A0.3B-2B y A1B-7B, demuestran que Linear-MoE logra ganancias de eficiencia mientras mantiene un rendimiento competitivo en varios benchmarks, mostrando su potencial como una arquitectura de modelo fundamental de próxima generación. Código: https://github.com/OpenSparseLLMs/Linear-MoE.

English

Linear Sequence Modeling (LSM) like linear attention, state space models and linear RNNs, and Mixture-of-Experts (MoE) have recently emerged as significant architectural improvements. In this paper, we introduce Linear-MoE, a production-level system for modeling and training large-scale models that integrate LSM with MoE. Linear-MoE leverages the advantages of both LSM modules for linear-complexity sequence modeling and MoE layers for sparsely activation, aiming to offer high performance with efficient training. The Linear-MoE system comprises: 1) Modeling subsystem, which provides a unified framework supporting all instances of LSM. and 2) Training subsystem, which facilitates efficient training by incorporating various advanced parallelism technologies, particularly Sequence Parallelism designed for Linear-MoE models. Additionally, we explore hybrid models that combine Linear-MoE layers with standard Transformer-MoE layers with its Sequence Parallelism to further enhance model flexibility and performance. Evaluations on two model series, A0.3B-2B and A1B-7B, demonstrate Linear-MoE achieves efficiency gains while maintaining competitive performance on various benchmarks, showcasing its potential as a next-generation foundational model architecture. Code: https://github.com/OpenSparseLLMs/Linear-MoE.