Mejoramiento Experto: Desplazando la Frontera de Eficiencia Computacional en los Modelos de Mezcla de Expertos

Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts

April 21, 2026

Autores: Chaitanya Dwivedi, Binxuan Huang, Himanshu Gupta, Pratik Jayarao, Neeraj Varshney, Bing Yin

cs.AI

Resumen

La Mezcla de Expertos (MoE) se ha convertido en la arquitectura dominante para escalar modelos de lenguaje grandes: los modelos de vanguardia desacoplan rutinariamente los parámetros totales del cómputo por *token* mediante el enrutamiento disperso de expertos. Las leyes de escalado muestran que, con un cómputo activo fijo, la calidad del modelo escala de manera predecible con el total de parámetros, y los MoE logran esto aumentando el número de expertos. Sin embargo, entrenar MoE grandes es costoso, ya que los requisitos de memoria y la comunicación entre dispositivos escalan con el recuento total de parámetros. Proponemos el *upcycling* de expertos, un método para expandir progresivamente la capacidad de los MoE aumentando el número de expertos durante el pre-entrenamiento continuado (CPT, por sus siglas en inglés). Dado un modelo entrenado con E expertos, el operador de *upcycling* construye un modelo de mE expertos mediante la duplicación de expertos y la extensión del enrutador, manteniendo fijo el enrutamiento top-K y preservando el coste de inferencia por *token*. La duplicación proporciona una inicialización favorable: el modelo expandido hereda las representaciones aprendidas del *checkpoint* fuente, partiendo de una pérdida sustancialmente menor que con una inicialización aleatoria. El CPT posterior rompe entonces la simetría entre los expertos duplicados para impulsar la especialización. Formalizamos el operador de *upcycling* y desarrollamos un marco teórico que descompone la brecha de calidad en un término de capacidad y un término de inicialización. Además, introducimos la selección de expertos basada en utilidad, que utiliza puntuaciones de importancia basadas en gradientes para guiar una duplicación no uniforme, más que triplicando el cierre de la brecha cuando el CPT es limitado. En nuestros experimentos con 7B-13B parámetros totales, el modelo con *upcycling* iguala la línea base de tamaño fijo en pérdida de validación mientras ahorra un 32% de horas de GPU. Ablaciones exhaustivas en varias escalas de modelos, ratios de activación, arquitecturas MoE y presupuestos de entrenamiento arrojan una receta práctica para implementar el *upcycling* de expertos, estableciéndolo como una alternativa eficiente en cómputo y fundamentada al entrenamiento de modelos MoE grandes desde cero.

English

Mixture-of-Experts (MoE) has become the dominant architecture for scaling large language models: frontier models routinely decouple total parameters from per-token computation through sparse expert routing. Scaling laws show that under fixed active computation, model quality scales predictably with total parameters, and MoEs realize this by increasing expert count. However, training large MoEs is expensive, as memory requirements and inter-device communication both scale with total parameter count. We propose expert upcycling, a method for progressively expanding MoE capacity by increasing the number of experts during continued pre-training (CPT). Given a trained E-expert model, the upcycling operator constructs an mE-expert model through expert duplication and router extension while holding top-K routing fixed, preserving per-token inference cost. Duplication provides a warm initialization: the expanded model inherits the source checkpoint's learned representations, starting from a substantially lower loss than random initialization. Subsequent CPT then breaks the symmetry among duplicated experts to drive specialization. We formalize the upcycling operator and develop a theoretical framework decomposing the quality gap into a capacity term and an initialization term. We further introduce utility-based expert selection, which uses gradient-based importance scores to guide non-uniform duplication, more than tripling gap closure when CPT is limited. In our 7B-13B total parameter experiments, the upcycled model matches the fixed-size baseline on validation loss while saving 32% of GPU hours. Comprehensive ablations across model scales, activation ratios, MoE architectures, and training budgets yield a practical recipe for deploying expert upcycling, establishing it as a principled, compute-efficient alternative to training large MoE models from scratch.