μ-Параметризация для смеси экспертов

Аннотация

В последние годы наблюдается растущий интерес и активное внедрение крупных языковых моделей (LLM), при этом muTransfer становится ключевой техникой для настройки гиперпараметров в крупномасштабном обучении. В то же время архитектура Mixture-of-Experts (MoE) зарекомендовала себя как ведущий подход в создании чрезвычайно больших моделей. Однако пересечение этих двух достижений оставалось неисследованным. В данной работе мы выводим mu-Параметризацию (muP) для MoE, предоставляя теоретические гарантии для обучения признаков при различных ширинах модели как в маршрутизаторе, так и в экспертах. Мы эмпирически подтверждаем нашу параметризацию и дополнительно исследуем, как масштабирование количества экспертов и гранулярности влияет на оптимальную скорость обучения.

English

Recent years have seen a growing interest and adoption of LLMs, with muTransfer becoming a key technique for tuning hyperparameters in large-scale training. Meanwhile, Mixture-of-Experts (MoE) has emerged as a leading architecture in extremely large models. However, the intersection of these two advancements has remained unexplored. In this work, we derive a mu-Parameterization (muP) for MoE, providing theoretical guarantees for feature learning across model widths in both the router and experts. We empirically validate our parameterization and further investigate how scaling the number of experts and granularity affects the optimal learning rate.

μ-Параметризация для смеси экспертов

μ-Parametrization for Mixture of Experts

Аннотация

Support