Experten-Upcycling: Verschiebung der recheneffizienten Grenze von Mixture-of-Experts

Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts

April 21, 2026

Autoren: Chaitanya Dwivedi, Binxuan Huang, Himanshu Gupta, Pratik Jayarao, Neeraj Varshney, Bing Yin

cs.AI

Zusammenfassung

Mixture-of-Experts (MoE) hat sich zur dominierenden Architektur für die Skalierung großer Sprachmodelle entwickelt: Spitzenmodelle entkoppeln routinemäßig Gesamtparameter von der Berechnung pro Token durch sparsames Expert-Routing. Skalierungsgesetze zeigen, dass bei festgelegter aktiver Berechnung die Modellqualität vorhersagbar mit der Gesamtparameterzahl skaliert, was MoEs durch Erhöhung der Expertenanzahl realisieren. Die Ausbildung großer MoEs ist jedoch teuer, da sowohl der Speicherbedarf als auch die Kommunikation zwischen Geräten mit der Gesamtparameterzahl skalieren. Wir schlagen Expert Upcycling vor, eine Methode zur schrittweisen Erweiterung der MoE-Kapazität durch Erhöhung der Expertenanzahl während des fortgesetzten Vorabtrainings (CPT). Ausgehend von einem trainierten E-Experten-Modell konstruiert der Upcycling-Operator ein mE-Experten-Modell durch Experten-Duplikation und Router-Erweiterung bei festgehaltenem Top-K-Routing, wodurch die Inferenzkosten pro Token erhalten bleiben. Die Duplikation bietet eine warme Initialisierung: Das erweiterte Modell erbt die gelernten Repräsentationen des Quell-Checkpoints und startet mit einem deutlich niedrigeren Loss als eine zufällige Initialisierung. Anschließendes CPT bricht dann die Symmetrie zwischen den duplizierten Experten, um Spezialisierung voranzutreiben. Wir formalisieren den Upcycling-Operator und entwickeln einen theoretischen Rahmen, der die Qualitätslücke in einen Kapazitäts- und einen Initialisierungsterm zerlegt. Weiter führen wir nutzenbasierte Expertenauswahl ein, die gradientenbasierte Bedeutungswerte zur Steuerung nicht-uniformer Duplikation verwendet und die Lückenschließung bei begrenztem CPT mehr als verdreifacht. In unseren Experimenten mit 7B-13B Gesamtparametern erreicht das upgecycelte Modell den Validation Loss des Fixed-Size-Baselines und spart dabei 32% der GPU-Stunden. Umfassende Ablationstudien über Modellgrößen, Aktivierungsraten, MoE-Architekturen und Trainingsbudgets führen zu einem praktischen Leitfaden für den Einsatz von Expert Upcycling und etablieren es als prinzipielle, recheneffiziente Alternative zur Ausbildung großer MoE-Modelle von Grund auf.

English

Mixture-of-Experts (MoE) has become the dominant architecture for scaling large language models: frontier models routinely decouple total parameters from per-token computation through sparse expert routing. Scaling laws show that under fixed active computation, model quality scales predictably with total parameters, and MoEs realize this by increasing expert count. However, training large MoEs is expensive, as memory requirements and inter-device communication both scale with total parameter count. We propose expert upcycling, a method for progressively expanding MoE capacity by increasing the number of experts during continued pre-training (CPT). Given a trained E-expert model, the upcycling operator constructs an mE-expert model through expert duplication and router extension while holding top-K routing fixed, preserving per-token inference cost. Duplication provides a warm initialization: the expanded model inherits the source checkpoint's learned representations, starting from a substantially lower loss than random initialization. Subsequent CPT then breaks the symmetry among duplicated experts to drive specialization. We formalize the upcycling operator and develop a theoretical framework decomposing the quality gap into a capacity term and an initialization term. We further introduce utility-based expert selection, which uses gradient-based importance scores to guide non-uniform duplication, more than tripling gap closure when CPT is limited. In our 7B-13B total parameter experiments, the upcycled model matches the fixed-size baseline on validation loss while saving 32% of GPU hours. Comprehensive ablations across model scales, activation ratios, MoE architectures, and training budgets yield a practical recipe for deploying expert upcycling, establishing it as a principled, compute-efficient alternative to training large MoE models from scratch.