Un examen approfondi des modèles de mélange d'experts dans les grands modèles de langage

A Closer Look into Mixture-of-Experts in Large Language Models

June 26, 2024

Auteurs: Ka Man Lo, Zeyu Huang, Zihan Qiu, Zili Wang, Jie Fu

cs.AI

Résumé

Le modèle de mélange d'experts (Mixture-of-Experts, MoE) suscite un intérêt croissant en raison de ses propriétés uniques et de ses performances remarquables, notamment pour les tâches linguistiques. En activant de manière parcimonieuse un sous-ensemble de paramètres pour chaque token, l'architecture MoE permet d'augmenter la taille du modèle sans sacrifier l'efficacité computationnelle, offrant ainsi un meilleur compromis entre performance et coûts d'entraînement. Cependant, le mécanisme sous-jacent du MoE nécessite encore des explorations approfondies, et son degré de modularité reste sujet à débat. Dans cet article, nous effectuons une première tentative pour comprendre le fonctionnement interne des grands modèles de langage basés sur MoE. Concrètement, nous étudions de manière exhaustive les caractéristiques paramétriques et comportementales de trois modèles récents basés sur MoE et révélons plusieurs observations intrigantes, notamment : (1) Les neurones agissent comme des experts à granularité fine. (2) Le routeur du MoE sélectionne généralement des experts avec des normes de sortie plus élevées. (3) La diversité des experts augmente avec la profondeur des couches, bien que la dernière couche constitue une exception. Sur la base de ces observations, nous proposons également des recommandations pour un large éventail de praticiens du MoE, notamment en ce qui concerne la conception du routeur et l'allocation des experts. Nous espérons que ce travail pourra éclairer les recherches futures sur le cadre MoE et d'autres architectures modulaires. Le code est disponible à l'adresse suivante : https://github.com/kamanphoebe/Look-into-MoEs.

English

Mixture-of-experts (MoE) is gaining increasing attention due to its unique properties and remarkable performance, especially for language tasks. By sparsely activating a subset of parameters for each token, MoE architecture could increase the model size without sacrificing computational efficiency, achieving a better trade-off between performance and training costs. However, the underlying mechanism of MoE still lacks further exploration, and its modularization degree remains questionable. In this paper, we make an initial attempt to understand the inner workings of MoE-based large language models. Concretely, we comprehensively study the parametric and behavioral features of three recent MoE-based models and reveal some intriguing observations, including (1) Neurons act like fine-grained experts. (2) The router of MoE usually selects experts with larger output norms. (3) The expert diversity increases as the layer increases, while the last layer is an outlier. Based on the observations, we also provide suggestions for a broad spectrum of MoE practitioners, such as router design and expert allocation. We hope this work could shed light on future research on the MoE framework and other modular architectures. Code is available at https://github.com/kamanphoebe/Look-into-MoEs.