Lois d'échelle pour les mélanges d'experts à granularité fine

Scaling Laws for Fine-Grained Mixture of Experts

February 12, 2024

Auteurs: Jakub Krajewski, Jan Ludziejewski, Kamil Adamczewski, Maciej Pióro, Michał Krutul, Szymon Antoniak, Kamil Ciebiera, Krystian Król, Tomasz Odrzygóźdź, Piotr Sankowski, Marek Cygan, Sebastian Jaszczur

cs.AI

Résumé

Les modèles de type Mixture of Experts (MoE) sont apparus comme une solution principale pour réduire le coût computationnel des grands modèles de langage. Dans ce travail, nous analysons leurs propriétés de mise à l'échelle en intégrant une gamme étendue de variables. Plus précisément, nous introduisons un nouvel hyperparamètre, la granularité, dont l'ajustement permet un contrôle précis de la taille des experts. Sur cette base, nous établissons des lois de mise à l'échelle pour les MoE à granularité fine, en prenant en compte le nombre de tokens d'entraînement, la taille du modèle et la granularité. En exploitant ces lois, nous déterminons la configuration d'entraînement optimale pour un budget computationnel donné. Nos résultats montrent non seulement que les modèles MoE surpassent systématiquement les Transformers denses, mais aussi que l'écart d'efficacité entre les modèles denses et les MoE s'accroît à mesure que nous augmentons la taille du modèle et le budget d'entraînement. De plus, nous démontrons que la pratique courante consistant à définir la taille des experts dans les MoE pour qu'elle reflète celle de la couche feed-forward n'est pas optimale pour presque aucun budget computationnel.

English

Mixture of Experts (MoE) models have emerged as a primary solution for reducing the computational cost of Large Language Models. In this work, we analyze their scaling properties, incorporating an expanded range of variables. Specifically, we introduce a new hyperparameter, granularity, whose adjustment enables precise control over the size of the experts. Building on this, we establish scaling laws for fine-grained MoE, taking into account the number of training tokens, model size, and granularity. Leveraging these laws, we derive the optimal training configuration for a given computational budget. Our findings not only show that MoE models consistently outperform dense Transformers but also highlight that the efficiency gap between dense and MoE models widens as we scale up the model size and training budget. Furthermore, we demonstrate that the common practice of setting the size of experts in MoE to mirror the feed-forward layer is not optimal at almost any computational budget.