OpenMoE : Une première initiative sur les modèles de langage ouverts à base de mélange d'experts

OpenMoE: An Early Effort on Open Mixture-of-Experts Language Models

January 29, 2024

Auteurs: Fuzhao Xue, Zian Zheng, Yao Fu, Jinjie Ni, Zangwei Zheng, Wangchunshu Zhou, Yang You

cs.AI

Résumé

Pour aider la communauté open-source à mieux comprendre les modèles de langage de grande taille (LLMs) basés sur le concept de Mixture-of-Experts (MoE), nous avons entraîné et publié OpenMoE, une série de LLMs MoE décodés uniquement, entièrement open-source et reproductibles, allant de 650 millions à 34 milliards de paramètres et entraînés sur plus de 1 000 milliards de tokens. Notre étude confirme que les LLMs basés sur MoE peuvent offrir un meilleur rapport coût-efficacité que les LLMs denses, soulignant ainsi leur potentiel pour le développement futur des LLMs. Une contribution importante de cette étude est une analyse approfondie des mécanismes de routage au sein de nos modèles OpenMoE, qui a conduit à trois découvertes majeures : la spécialisation indépendante du contexte, l'apprentissage précoce du routage et la chute vers la fin. Nous avons découvert que les décisions de routage dans les modèles MoE sont principalement basées sur les identifiants des tokens, avec une pertinence contextuelle minimale. Les affectations des tokens aux experts sont déterminées tôt dans la phase de pré-entraînement et restent largement inchangées. Ce routage imparfait peut entraîner une dégradation des performances, en particulier dans les tâches séquentielles comme les conversations à plusieurs tours, où les tokens apparaissant plus tard dans une séquence sont plus susceptibles d'être abandonnés. Enfin, nous repensons notre conception sur la base des observations et analyses mentionnées ci-dessus. Pour faciliter le développement futur des LLMs MoE, nous proposons des stratégies potentielles pour atténuer les problèmes identifiés et améliorer davantage les conceptions existantes des LLMs MoE.

English

To help the open-source community have a better understanding of Mixture-of-Experts (MoE) based large language models (LLMs), we train and release OpenMoE, a series of fully open-sourced and reproducible decoder-only MoE LLMs, ranging from 650M to 34B parameters and trained on up to over 1T tokens. Our investigation confirms that MoE-based LLMs can offer a more favorable cost-effectiveness trade-off than dense LLMs, highlighting the potential effectiveness for future LLM development. One more important contribution of this study is an in-depth analysis of the routing mechanisms within our OpenMoE models, leading to three significant findings: Context-Independent Specialization, Early Routing Learning, and Drop-towards-the-End. We discovered that routing decisions in MoE models are predominantly based on token IDs, with minimal context relevance. The token-to-expert assignments are determined early in the pre-training phase and remain largely unchanged. This imperfect routing can result in performance degradation, particularly in sequential tasks like multi-turn conversations, where tokens appearing later in a sequence are more likely to be dropped. Finally, we rethink our design based on the above-mentioned observations and analysis. To facilitate future MoE LLM development, we propose potential strategies for mitigating the issues we found and further improving off-the-shelf MoE LLM designs.