Skalierungsgesetze für fein abgestimmte Mixture-of-Experts-Modelle

Scaling Laws for Fine-Grained Mixture of Experts

February 12, 2024

Autoren: Jakub Krajewski, Jan Ludziejewski, Kamil Adamczewski, Maciej Pióro, Michał Krutul, Szymon Antoniak, Kamil Ciebiera, Krystian Król, Tomasz Odrzygóźdź, Piotr Sankowski, Marek Cygan, Sebastian Jaszczur

cs.AI

Zusammenfassung

Mixture of Experts (MoE)-Modelle haben sich als primäre Lösung zur Reduzierung der Rechenkosten von Large Language Models etabliert. In dieser Arbeit analysieren wir ihre Skalierungseigenschaften unter Einbeziehung eines erweiterten Variablenbereichs. Insbesondere führen wir einen neuen Hyperparameter, die Granularität, ein, dessen Anpassung eine präzise Kontrolle über die Größe der Experten ermöglicht. Aufbauend darauf etablieren wir Skalierungsgesetze für fein abgestufte MoE-Modelle, die die Anzahl der Trainings-Tokens, die Modellgröße und die Granularität berücksichtigen. Mithilfe dieser Gesetze leiten wir die optimale Trainingskonfiguration für ein gegebenes Rechenbudget ab. Unsere Ergebnisse zeigen nicht nur, dass MoE-Modelle durchweg dichte Transformer übertreffen, sondern auch, dass die Effizienzlücke zwischen dichten und MoE-Modellen mit zunehmender Modellgröße und Trainingsbudget weiter wächst. Darüber hinaus demonstrieren wir, dass die gängige Praxis, die Größe der Experten in MoE-Modellen an die Feed-Forward-Schicht anzupassen, bei nahezu jedem Rechenbudget nicht optimal ist.

English

Mixture of Experts (MoE) models have emerged as a primary solution for reducing the computational cost of Large Language Models. In this work, we analyze their scaling properties, incorporating an expanded range of variables. Specifically, we introduce a new hyperparameter, granularity, whose adjustment enables precise control over the size of the experts. Building on this, we establish scaling laws for fine-grained MoE, taking into account the number of training tokens, model size, and granularity. Leveraging these laws, we derive the optimal training configuration for a given computational budget. Our findings not only show that MoE models consistently outperform dense Transformers but also highlight that the efficiency gap between dense and MoE models widens as we scale up the model size and training budget. Furthermore, we demonstrate that the common practice of setting the size of experts in MoE to mirror the feed-forward layer is not optimal at almost any computational budget.