μ-Parametrização para Mistura de Especialistas
μ-Parametrization for Mixture of Experts
August 13, 2025
Autores: Jan Małaśnicki, Kamil Ciebiera, Mateusz Boruń, Maciej Pióro, Jan Ludziejewski, Maciej Stefaniak, Michał Krutul, Sebastian Jaszczur, Marek Cygan, Kamil Adamczewski, Jakub Krajewski
cs.AI
Resumo
Nos últimos anos, tem havido um crescente interesse e adoção de LLMs (Large Language Models), com o muTransfer se tornando uma técnica fundamental para ajustar hiperparâmetros em treinamentos de grande escala. Enquanto isso, a arquitetura Mixture-of-Experts (MoE) surgiu como uma abordagem líder em modelos extremamente grandes. No entanto, a interseção desses dois avanços permaneceu inexplorada. Neste trabalho, derivamos uma mu-Parametrização (muP) para MoE, fornecendo garantias teóricas para o aprendizado de características em diferentes larguras de modelo, tanto no roteador quanto nos especialistas. Validamos empiricamente nossa parametrização e investigamos ainda como a escalabilidade do número de especialistas e da granularidade afeta a taxa de aprendizado ótima.
English
Recent years have seen a growing interest and adoption of LLMs, with
muTransfer becoming a key technique for tuning hyperparameters in
large-scale training. Meanwhile, Mixture-of-Experts (MoE) has emerged as a
leading architecture in extremely large models. However, the intersection of
these two advancements has remained unexplored. In this work, we derive a
mu-Parameterization (muP) for MoE, providing theoretical guarantees for
feature learning across model widths in both the router and experts. We
empirically validate our parameterization and further investigate how scaling
the number of experts and granularity affects the optimal learning rate.