OpenMoE: Un Primer Esfuerzo en Modelos de Lenguaje de Mezcla de Expertos Abiertos

OpenMoE: An Early Effort on Open Mixture-of-Experts Language Models

January 29, 2024

Autores: Fuzhao Xue, Zian Zheng, Yao Fu, Jinjie Ni, Zangwei Zheng, Wangchunshu Zhou, Yang You

cs.AI

Resumen

Para ayudar a la comunidad de código abierto a comprender mejor los modelos de lenguaje grandes (LLMs) basados en Mezcla de Expertos (MoE), entrenamos y publicamos OpenMoE, una serie de LLMs MoE de solo decodificador completamente abiertos y reproducibles, que van desde 650M hasta 34B de parámetros y entrenados con más de 1T de tokens. Nuestra investigación confirma que los LLMs basados en MoE pueden ofrecer una relación costo-efectividad más favorable que los LLMs densos, destacando su potencial efectividad para el desarrollo futuro de LLMs. Un aporte importante adicional de este estudio es un análisis en profundidad de los mecanismos de enrutamiento dentro de nuestros modelos OpenMoE, que lleva a tres hallazgos significativos: Especialización Independiente del Contexto, Aprendizaje Temprano del Enrutamiento y Caída hacia el Final. Descubrimos que las decisiones de enrutamiento en los modelos MoE se basan predominantemente en los IDs de los tokens, con una relevancia mínima del contexto. Las asignaciones de tokens a expertos se determinan temprano en la fase de preentrenamiento y permanecen en gran medida sin cambios. Este enrutamiento imperfecto puede resultar en una degradación del rendimiento, particularmente en tareas secuenciales como conversaciones de múltiples turnos, donde los tokens que aparecen más tarde en una secuencia tienen más probabilidades de ser descartados. Finalmente, reconsideramos nuestro diseño basándonos en las observaciones y análisis mencionados anteriormente. Para facilitar el desarrollo futuro de LLMs MoE, proponemos estrategias potenciales para mitigar los problemas identificados y mejorar aún más los diseños existentes de LLMs MoE.

English

To help the open-source community have a better understanding of Mixture-of-Experts (MoE) based large language models (LLMs), we train and release OpenMoE, a series of fully open-sourced and reproducible decoder-only MoE LLMs, ranging from 650M to 34B parameters and trained on up to over 1T tokens. Our investigation confirms that MoE-based LLMs can offer a more favorable cost-effectiveness trade-off than dense LLMs, highlighting the potential effectiveness for future LLM development. One more important contribution of this study is an in-depth analysis of the routing mechanisms within our OpenMoE models, leading to three significant findings: Context-Independent Specialization, Early Routing Learning, and Drop-towards-the-End. We discovered that routing decisions in MoE models are predominantly based on token IDs, with minimal context relevance. The token-to-expert assignments are determined early in the pre-training phase and remain largely unchanged. This imperfect routing can result in performance degradation, particularly in sequential tasks like multi-turn conversations, where tokens appearing later in a sequence are more likely to be dropped. Finally, we rethink our design based on the above-mentioned observations and analysis. To facilitate future MoE LLM development, we propose potential strategies for mitigating the issues we found and further improving off-the-shelf MoE LLM designs.