Масштабные законы для детализированных смесей экспертов

Scaling Laws for Fine-Grained Mixture of Experts

February 12, 2024

Авторы: Jakub Krajewski, Jan Ludziejewski, Kamil Adamczewski, Maciej Pióro, Michał Krutul, Szymon Antoniak, Kamil Ciebiera, Krystian Król, Tomasz Odrzygóźdź, Piotr Sankowski, Marek Cygan, Sebastian Jaszczur

cs.AI

Аннотация

Модели типа "Смесь экспертов" (Mixture of Experts, MoE) стали основным решением для снижения вычислительных затрат крупных языковых моделей. В данной работе мы анализируем их свойства масштабирования, учитывая расширенный набор переменных. В частности, мы вводим новый гиперпараметр — гранулярность, регулировка которого позволяет точно контролировать размер экспертов. На основе этого мы устанавливаем законы масштабирования для детализированных моделей MoE, учитывая количество токенов для обучения, размер модели и гранулярность. Используя эти законы, мы определяем оптимальную конфигурацию обучения для заданного вычислительного бюджета. Наши результаты не только показывают, что модели MoE стабильно превосходят плотные трансформеры, но и подчеркивают, что разрыв в эффективности между плотными моделями и моделями MoE увеличивается по мере масштабирования размера модели и бюджета на обучение. Кроме того, мы демонстрируем, что распространенная практика установки размера экспертов в MoE в соответствии с размером прямого слоя не является оптимальной практически для любого вычислительного бюджета.

English

Mixture of Experts (MoE) models have emerged as a primary solution for reducing the computational cost of Large Language Models. In this work, we analyze their scaling properties, incorporating an expanded range of variables. Specifically, we introduce a new hyperparameter, granularity, whose adjustment enables precise control over the size of the experts. Building on this, we establish scaling laws for fine-grained MoE, taking into account the number of training tokens, model size, and granularity. Leveraging these laws, we derive the optimal training configuration for a given computational budget. Our findings not only show that MoE models consistently outperform dense Transformers but also highlight that the efficiency gap between dense and MoE models widens as we scale up the model size and training budget. Furthermore, we demonstrate that the common practice of setting the size of experts in MoE to mirror the feed-forward layer is not optimal at almost any computational budget.