**Expert Upcycling: Spostare la Frontiera dell'Efficienza Computazionale nei Modelli Mixture-of-Experts**

Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts

April 21, 2026

Autori: Chaitanya Dwivedi, Binxuan Huang, Himanshu Gupta, Pratik Jayarao, Neeraj Varshney, Bing Yin

cs.AI

Abstract

Mixture-of-Experts (MoE) è diventata l'architettura dominante per il ridimensionamento dei grandi modelli linguistici: i modelli di frontiera dissociano abitualmente i parametri totali dal calcolo per token attraverso l'instradamento sparso degli esperti. Le leggi di ridimensionamento mostrano che, a calcolo attivo fisso, la qualità del modello scala in modo prevedibile con il numero totale di parametri, e i MoE realizzano ciò aumentando il numero di esperti. Tuttavia, l'addestramento di MoE di grandi dimensioni è costoso, poiché i requisiti di memoria e la comunicazione tra dispositivi scalano entrambi con il numero totale di parametri. Proponiamo l'*expert upcycling*, un metodo per espandere progressivamente la capacità dei MoE aumentando il numero di esperti durante il pre-addestramento continuativo (CPT). Dato un modello addestrato con E esperti, l'operatore di upcycling costruisce un modello con mE esperti attraverso la duplicazione degli esperti e l'estensione del router, mantenendo fisso l'instradamento top-K e preservando così il costo inferenziale per token. La duplicazione fornisce un'inizializzazione calda: il modello espanso eredita le rappresentazioni apprese dal checkpoint sorgente, partendo da una perdita sostanzialmente inferiore rispetto all'inizializzazione casuale. Il CPT successivo rompe quindi la simmetria tra gli esperti duplicati per favorire la specializzazione. Formalizziamo l'operatore di upcycling e sviluppiamo un quadro teorico che scompone il divario di qualità in un termine di capacità e un termine di inizializzazione. Introduciamo inoltre la *utility-based expert selection*, che utilizza punteggi di importanza basati sul gradiente per guidare una duplicazione non uniforme, riducendo il divario di oltre tre volte quando il CPT è limitato. Nei nostri esperimenti con parametri totali da 7B a 13B, il modello sottoposto a upcycling eguaglia il baseline a dimensione fissa sulla perdita di validazione, risparmiando il 32% delle ore GPU. Ablazioni complete su scale del modello, rapporti di attivazione, architetture MoE e budget di addestramento forniscono una ricetta pratica per implementare l'expert upcycling, stabilendolo come un'alternativa efficiente in termini computazionali e basata su principi all'addestramento di grandi modelli MoE da zero.

English

Mixture-of-Experts (MoE) has become the dominant architecture for scaling large language models: frontier models routinely decouple total parameters from per-token computation through sparse expert routing. Scaling laws show that under fixed active computation, model quality scales predictably with total parameters, and MoEs realize this by increasing expert count. However, training large MoEs is expensive, as memory requirements and inter-device communication both scale with total parameter count. We propose expert upcycling, a method for progressively expanding MoE capacity by increasing the number of experts during continued pre-training (CPT). Given a trained E-expert model, the upcycling operator constructs an mE-expert model through expert duplication and router extension while holding top-K routing fixed, preserving per-token inference cost. Duplication provides a warm initialization: the expanded model inherits the source checkpoint's learned representations, starting from a substantially lower loss than random initialization. Subsequent CPT then breaks the symmetry among duplicated experts to drive specialization. We formalize the upcycling operator and develop a theoretical framework decomposing the quality gap into a capacity term and an initialization term. We further introduce utility-based expert selection, which uses gradient-based importance scores to guide non-uniform duplication, more than tripling gap closure when CPT is limited. In our 7B-13B total parameter experiments, the upcycled model matches the fixed-size baseline on validation loss while saving 32% of GPU hours. Comprehensive ablations across model scales, activation ratios, MoE architectures, and training budgets yield a practical recipe for deploying expert upcycling, establishing it as a principled, compute-efficient alternative to training large MoE models from scratch.