Leyes de Escalado para Mezclas de Expertos de Granularidad Fina

Scaling Laws for Fine-Grained Mixture of Experts

February 12, 2024

Autores: Jakub Krajewski, Jan Ludziejewski, Kamil Adamczewski, Maciej Pióro, Michał Krutul, Szymon Antoniak, Kamil Ciebiera, Krystian Król, Tomasz Odrzygóźdź, Piotr Sankowski, Marek Cygan, Sebastian Jaszczur

cs.AI

Resumen

Los modelos de Mezcla de Expertos (MoE, por sus siglas en inglés) han surgido como una solución principal para reducir el costo computacional de los Modelos de Lenguaje a Gran Escala. En este trabajo, analizamos sus propiedades de escalabilidad, incorporando un rango ampliado de variables. Específicamente, introducimos un nuevo hiperparámetro, la granularidad, cuyo ajuste permite un control preciso sobre el tamaño de los expertos. Basándonos en esto, establecemos leyes de escalabilidad para MoE de grano fino, teniendo en cuenta el número de tokens de entrenamiento, el tamaño del modelo y la granularidad. Aprovechando estas leyes, derivamos la configuración óptima de entrenamiento para un presupuesto computacional dado. Nuestros hallazgos no solo muestran que los modelos MoE superan consistentemente a los Transformers densos, sino que también destacan que la brecha de eficiencia entre los modelos densos y los MoE se amplía a medida que escalamos el tamaño del modelo y el presupuesto de entrenamiento. Además, demostramos que la práctica común de establecer el tamaño de los expertos en MoE para que refleje la capa de avance no es óptima en casi ningún presupuesto computacional.

English

Mixture of Experts (MoE) models have emerged as a primary solution for reducing the computational cost of Large Language Models. In this work, we analyze their scaling properties, incorporating an expanded range of variables. Specifically, we introduce a new hyperparameter, granularity, whose adjustment enables precise control over the size of the experts. Building on this, we establish scaling laws for fine-grained MoE, taking into account the number of training tokens, model size, and granularity. Leveraging these laws, we derive the optimal training configuration for a given computational budget. Our findings not only show that MoE models consistently outperform dense Transformers but also highlight that the efficiency gap between dense and MoE models widens as we scale up the model size and training budget. Furthermore, we demonstrate that the common practice of setting the size of experts in MoE to mirror the feed-forward layer is not optimal at almost any computational budget.