Parametrización μ para Mezcla de Expertos

Resumen

En los últimos años, ha crecido el interés y la adopción de los LLM (Modelos de Lenguaje de Gran Escala), con muTransfer convirtiéndose en una técnica clave para ajustar hiperparámetros en entrenamientos a gran escala. Paralelamente, la arquitectura Mixture-of-Experts (MoE) ha surgido como un enfoque líder en modelos extremadamente grandes. Sin embargo, la intersección de estos dos avances ha permanecido inexplorada. En este trabajo, derivamos una mu-Parametrización (muP) para MoE, proporcionando garantías teóricas para el aprendizaje de características a través de diferentes anchos de modelo, tanto en el enrutador como en los expertos. Validamos empíricamente nuestra parametrización y además investigamos cómo el escalado del número de expertos y la granularidad afecta la tasa de aprendizaje óptima.

English

Recent years have seen a growing interest and adoption of LLMs, with muTransfer becoming a key technique for tuning hyperparameters in large-scale training. Meanwhile, Mixture-of-Experts (MoE) has emerged as a leading architecture in extremely large models. However, the intersection of these two advancements has remained unexplored. In this work, we derive a mu-Parameterization (muP) for MoE, providing theoretical guarantees for feature learning across model widths in both the router and experts. We empirically validate our parameterization and further investigate how scaling the number of experts and granularity affects the optimal learning rate.

Parametrización μ para Mezcla de Expertos

μ-Parametrization for Mixture of Experts

Resumen

Support