Expert Upcycling: Het verschuiven van de rekenkundig efficiënte grens van Mixture-of-Experts

Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts

April 21, 2026

Auteurs: Chaitanya Dwivedi, Binxuan Huang, Himanshu Gupta, Pratik Jayarao, Neeraj Varshney, Bing Yin

cs.AI

Samenvatting

Mixture-of-Experts (MoE) is de dominante architectuur geworden voor het schalen van grote taalmodel(len): toonaangevende modellen ontkoppelen routinematig het totale aantal parameters van de berekening per token via sparse expert routing. Schalingswetten tonen aan dat onder vaste actieve berekening, de modelkwaliteit voorspelbaar schaalt met het totale aantal parameters, en MoE's realiseren dit door het aantal experts te vergroten. Echter, het trainen van grote MoE's is kostbaar, aangezien zowel de geheugeneisen als de communicatie tussen apparaten schalen met het totale aantal parameters. Wij stellen expert upcycling voor, een methode om de capaciteit van MoE's progressief uit te breiden door het aantal experts te verhogen tijdens voortgezette pre-training (VPT). Gegeven een getraind model met E experts, construeert de upcycling-operator een model met mE experts door expertduplicatie en router-uitbreiding, waarbij de top-K routing ongewijzigd blijft en de inferentiekosten per token behouden blijven. Duplicatie zorgt voor een warme initialisatie: het uitgebreide model erft de geleerde representaties van het broncheckpoint en start vanaf een aanzienlijk lager verlies dan willekeurige initialisatie. Latere VPT verbreekt vervolgens de symmetrie tussen gedupliceerde experts om specialisatie te bevorderen. Wij formaliseren de upcycling-operator en ontwikkelen een theoretisch kader dat de kwaliteitskloof decomposeert in een capaciteitsterm en een initialisatieterm. Wij introduceren verder utility-based expert selection, dat op gradienten gebaseerde belangrijkheidsscores gebruikt om niet-uniforme duplicatie te sturen, wat de kloofsluiting meer dan verdrievoudigt wanneer VPT beperkt is. In onze experimenten met 7B-13B totale parameters evenaart het upcyclede model de baseline met vaste grootte qua validatieverlies, terwijl 32% van de GPU-uren wordt bespaard. Uitgebreide ablatiestudies over verschillende modelschalen, activeringsratio's, MoE-architecturen en trainingsbudgets resulteren in een praktisch recept voor de implementatie van expert upcycling, waarmee het wordt gevestigd als een principieel, rekenzuinig alternatief voor het vanaf nul trainen van grote MoE-modellen.

English

Mixture-of-Experts (MoE) has become the dominant architecture for scaling large language models: frontier models routinely decouple total parameters from per-token computation through sparse expert routing. Scaling laws show that under fixed active computation, model quality scales predictably with total parameters, and MoEs realize this by increasing expert count. However, training large MoEs is expensive, as memory requirements and inter-device communication both scale with total parameter count. We propose expert upcycling, a method for progressively expanding MoE capacity by increasing the number of experts during continued pre-training (CPT). Given a trained E-expert model, the upcycling operator constructs an mE-expert model through expert duplication and router extension while holding top-K routing fixed, preserving per-token inference cost. Duplication provides a warm initialization: the expanded model inherits the source checkpoint's learned representations, starting from a substantially lower loss than random initialization. Subsequent CPT then breaks the symmetry among duplicated experts to drive specialization. We formalize the upcycling operator and develop a theoretical framework decomposing the quality gap into a capacity term and an initialization term. We further introduce utility-based expert selection, which uses gradient-based importance scores to guide non-uniform duplication, more than tripling gap closure when CPT is limited. In our 7B-13B total parameter experiments, the upcycled model matches the fixed-size baseline on validation loss while saving 32% of GPU hours. Comprehensive ablations across model scales, activation ratios, MoE architectures, and training budgets yield a practical recipe for deploying expert upcycling, establishing it as a principled, compute-efficient alternative to training large MoE models from scratch.