Expert Upcycling : Repousser la frontière d'efficacité computationnelle des modèles à mélange d'experts

Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts

April 21, 2026

Auteurs: Chaitanya Dwivedi, Binxuan Huang, Himanshu Gupta, Pratik Jayarao, Neeraj Varshney, Bing Yin

cs.AI

Résumé

Le modèle à mélange d'experts (MoE) est devenu l'architecture dominante pour la mise à l'échelle des grands modèles de langage : les modèles de pointe découplent systématiquement les paramètres totaux du calcul par token via un routage creux d'experts. Les lois d'échelle montrent qu'à calcul actif fixe, la qualité du modèle évolue de manière prévisible avec le nombre total de paramètres, et les MoE réalisent cela en augmentant le nombre d'experts. Cependant, l'entraînement de grands MoE est coûteux, car les besoins en mémoire et la communication inter-périphériques augmentent tous deux avec le nombre total de paramètres. Nous proposons le *recyclage d'experts* (*expert upcycling*), une méthode pour augmenter progressivement la capacité d'un MoE en accroissant le nombre d'experts lors d'un pré-entraînement continu (CPT). Étant donné un modèle entraîné à E experts, l'opérateur de recyclage construit un modèle à mE experts par duplication d'experts et extension du routeur, tout en maintenant fixe le routage top-K, ce qui préserve le coût d'inférence par token. La duplication fournit une initialisation chaude : le modèle étendu hérite des représentations apprises du point de contrôle source, démarrant avec une perte substantiellement inférieure à une initialisation aléatoire. Le CPT ultérieur brise ensuite la symétrie entre les experts dupliqués pour favoriser la spécialisation. Nous formalisons l'opérateur de recyclage et développons un cadre théorique décomposant l'écart de qualité en un terme de capacité et un terme d'initialisation. Nous introduisons en outre la sélection d'experts par utilité, qui utilise des scores d'importance basés sur le gradient pour guider une duplication non uniforme, réduisant l'écart de plus de trois fois lorsque le CPT est limité. Dans nos expériences avec des paramètres totaux de 7B à 13B, le modèle recyclé atteint la perte de validation de référence de taille fixe tout en économisant 32 % d'heures GPU. Des ablations complètes sur différentes échelles de modèles, ratios d'activation, architectures MoE et budgets d'entraînement produisent une recette pratique pour déployer le recyclage d'experts, l'établissant comme une alternative économe en calcul et fondée sur des principes à l'entraînement de grands modèles MoE à partir de zéro.

English

Mixture-of-Experts (MoE) has become the dominant architecture for scaling large language models: frontier models routinely decouple total parameters from per-token computation through sparse expert routing. Scaling laws show that under fixed active computation, model quality scales predictably with total parameters, and MoEs realize this by increasing expert count. However, training large MoEs is expensive, as memory requirements and inter-device communication both scale with total parameter count. We propose expert upcycling, a method for progressively expanding MoE capacity by increasing the number of experts during continued pre-training (CPT). Given a trained E-expert model, the upcycling operator constructs an mE-expert model through expert duplication and router extension while holding top-K routing fixed, preserving per-token inference cost. Duplication provides a warm initialization: the expanded model inherits the source checkpoint's learned representations, starting from a substantially lower loss than random initialization. Subsequent CPT then breaks the symmetry among duplicated experts to drive specialization. We formalize the upcycling operator and develop a theoretical framework decomposing the quality gap into a capacity term and an initialization term. We further introduce utility-based expert selection, which uses gradient-based importance scores to guide non-uniform duplication, more than tripling gap closure when CPT is limited. In our 7B-13B total parameter experiments, the upcycled model matches the fixed-size baseline on validation loss while saving 32% of GPU hours. Comprehensive ablations across model scales, activation ratios, MoE architectures, and training budgets yield a practical recipe for deploying expert upcycling, establishing it as a principled, compute-efficient alternative to training large MoE models from scratch.