μ-Parametrizzazione per la Miscela di Esperti

Abstract

Negli ultimi anni si è registrato un crescente interesse e adozione dei LLM, con muTransfer che è diventata una tecnica chiave per ottimizzare gli iperparametri nell'addestramento su larga scala. Nel frattempo, Mixture-of-Experts (MoE) è emersa come un'architettura leader nei modelli estremamente grandi. Tuttavia, l'intersezione di questi due progressi è rimasta inesplorata. In questo lavoro, deriviamo una mu-Parametrizzazione (muP) per MoE, fornendo garanzie teoriche per l'apprendimento delle caratteristiche attraverso le larghezze del modello sia nel router che negli esperti. Convalidiamo empiricamente la nostra parametrizzazione e approfondiamo ulteriormente come la scalabilità del numero di esperti e della granularità influenzi il tasso di apprendimento ottimale.

English

Recent years have seen a growing interest and adoption of LLMs, with muTransfer becoming a key technique for tuning hyperparameters in large-scale training. Meanwhile, Mixture-of-Experts (MoE) has emerged as a leading architecture in extremely large models. However, the intersection of these two advancements has remained unexplored. In this work, we derive a mu-Parameterization (muP) for MoE, providing theoretical guarantees for feature learning across model widths in both the router and experts. We empirically validate our parameterization and further investigate how scaling the number of experts and granularity affects the optimal learning rate.

μ-Parametrizzazione per la Miscela di Esperti

μ-Parametrization for Mixture of Experts

Abstract

Support