El MoE post-entrenado puede omitir la mitad de los expertos mediante autodestilación.

Resumen

La Mezcla de Expertos (MoE) escala modelos de lenguaje de manera eficiente mediante la activación dispersa de expertos, y su variante dinámica reduce aún más el cómputo ajustando los expertos activados según la entrada. Los métodos dinámicos de MoE existentes suelen depender del preentrenamiento desde cero o de la adaptación específica de tarea, dejando poco explorada la conversión práctica de modelos MoE completamente entrenados. Habilitar dicha adaptación aliviaría directamente los costos de inferencia al permitir que los tokens fáciles eviten expertos innecesarios durante el servicio. Este artículo presenta la Adaptación por Autodestilación de Experto Cero (ZEDA), un marco de bajo costo que transforma modelos MoE estáticos post-entrenados en modelos dinámicos eficientes. Para estabilizar esta conversión arquitectónica, ZEDA inyecta expertos de salida cero sin parámetros en cada capa de MoE y adapta el modelo aumentado mediante autodestilación en dos etapas, utilizando el MoE original como maestro congelado y aplicando una pérdida de equilibrio a nivel de grupo. En Qwen3-30B-A3B y GLM-4.7-Flash, evaluados en 11 puntos de referencia que abarcan matemáticas, código y seguimiento de instrucciones, ZEDA elimina más del 50% de los FLOPs de los expertos con una pérdida marginal de precisión. Supera al mejor método dinámico de MoE en 6,1 y 4,0 puntos en ambos modelos, y logra un incremento de velocidad de inferencia de extremo a extremo de aproximadamente 1,20×.

English

Mixture-of-Experts (MoE) scales language models efficiently through sparse expert activation, and its dynamic variant further reduces computation by adjusting the activated experts in an input-dependent manner. Existing dynamic MoE methods usually rely on pre-training from scratch or task-specific adaptation, leaving the practical conversion of fully trained MoE underexplored. Enabling such adaptation would directly alleviate the inference costs by allowing easy tokens to bypass unnecessary expert during serving. This paper introduces Zero-Expert Self-Distillation Adaptation (ZEDA), a low-cost framework that transforms post-trained static MoE models into efficient dynamic ones. To stabilize this architectural conversion, ZEDA injects parameter-free zero-output experts into each MoE layer and adapts the augmented model through two-stage self-distillation, utilizing the original MoE as a frozen teacher and applying a group-level balancing loss. On Qwen3-30B-A3B and GLM-4.7-Flash across 11 benchmarks spanning math, code, and instruction following, ZEDA eliminates over 50% of expert FLOPs at marginal accuracy loss. It outperforms the strongest dynamic MoE baseline by 6.1 and 4.0 points on the two models, and delivers ~1.20times end-to-end inference speedup.