Schaalwetten voor Fijnmazige Mengsels van Experts

Scaling Laws for Fine-Grained Mixture of Experts

February 12, 2024

Auteurs: Jakub Krajewski, Jan Ludziejewski, Kamil Adamczewski, Maciej Pióro, Michał Krutul, Szymon Antoniak, Kamil Ciebiera, Krystian Król, Tomasz Odrzygóźdź, Piotr Sankowski, Marek Cygan, Sebastian Jaszczur

cs.AI

Samenvatting

Mixture of Experts (MoE)-modellen zijn naar voren gekomen als een primaire oplossing voor het verminderen van de rekenkosten van Large Language Models. In dit werk analyseren we hun schaaleigenschappen, waarbij we een uitgebreid scala aan variabelen meenemen. Specifiek introduceren we een nieuwe hyperparameter, granulariteit, waarvan de aanpassing een nauwkeurige controle over de grootte van de experts mogelijk maakt. Hierop voortbouwend, stellen we schaalwetten op voor fijnmazige MoE, waarbij we rekening houden met het aantal trainings-tokens, modelgrootte en granulariteit. Door gebruik te maken van deze wetten, leiden we de optimale trainingsconfiguratie af voor een bepaald rekenbudget. Onze bevindingen tonen niet alleen aan dat MoE-modellen consistent beter presteren dan dichte Transformers, maar benadrukken ook dat het efficiëntieverschil tussen dichte en MoE-modellen groter wordt naarmate we de modelgrootte en het trainingsbudget opschalen. Bovendien laten we zien dat de gangbare praktijk om de grootte van experts in MoE af te stemmen op de feed-forward-laag bijna nooit optimaal is voor welk rekenbudget dan ook.

English

Mixture of Experts (MoE) models have emerged as a primary solution for reducing the computational cost of Large Language Models. In this work, we analyze their scaling properties, incorporating an expanded range of variables. Specifically, we introduce a new hyperparameter, granularity, whose adjustment enables precise control over the size of the experts. Building on this, we establish scaling laws for fine-grained MoE, taking into account the number of training tokens, model size, and granularity. Leveraging these laws, we derive the optimal training configuration for a given computational budget. Our findings not only show that MoE models consistently outperform dense Transformers but also highlight that the efficiency gap between dense and MoE models widens as we scale up the model size and training budget. Furthermore, we demonstrate that the common practice of setting the size of experts in MoE to mirror the feed-forward layer is not optimal at almost any computational budget.