MoE Pós-Treinado Pode Ignorar Metade dos Especialistas via Autodestilação

Resumo

Mixture-of-Experts (MoE) escala modelos de linguagem eficientemente por meio da ativação esparsa de especialistas, e sua variante dinâmica reduz ainda mais a computação ao ajustar os especialistas ativados de forma dependente da entrada. Métodos dinâmicos MoE existentes geralmente dependem de pré-treinamento do zero ou adaptação específica a tarefas, deixando a conversão prática de MoE totalmente treinados pouco explorada. Possibilitar tal adaptação aliviaria diretamente os custos de inferência ao permitir que tokens fáceis evitem especialistas desnecessários durante o serviço. Este artigo apresenta o Zero-Expert Self-Distillation Adaptation (ZEDA), uma estrutura de baixo custo que transforma modelos MoE estáticos pós-treinados em modelos dinâmicos eficientes. Para estabilizar essa conversão arquitetural, o ZEDA injeta especialistas de saída zero sem parâmetros em cada camada MoE e adapta o modelo aumentado por meio de autodestilação em dois estágios, utilizando o MoE original como um professor congelado e aplicando uma perda de balanceamento em nível de grupo. No Qwen3-30B-A3B e GLM-4.7-Flash em 11 benchmarks abrangendo matemática, código e seguimento de instruções, o ZEDA elimina mais de 50% dos FLOPs dos especialistas com perda marginal de precisão. Ele supera a linha de base dinâmica MoE mais forte em 6,1 e 4,0 pontos nos dois modelos, e proporciona um ganho de velocidade de inferência ponta a ponta de aproximadamente 1,20 vezes.

English

Mixture-of-Experts (MoE) scales language models efficiently through sparse expert activation, and its dynamic variant further reduces computation by adjusting the activated experts in an input-dependent manner. Existing dynamic MoE methods usually rely on pre-training from scratch or task-specific adaptation, leaving the practical conversion of fully trained MoE underexplored. Enabling such adaptation would directly alleviate the inference costs by allowing easy tokens to bypass unnecessary expert during serving. This paper introduces Zero-Expert Self-Distillation Adaptation (ZEDA), a low-cost framework that transforms post-trained static MoE models into efficient dynamic ones. To stabilize this architectural conversion, ZEDA injects parameter-free zero-output experts into each MoE layer and adapts the augmented model through two-stage self-distillation, utilizing the original MoE as a frozen teacher and applying a group-level balancing loss. On Qwen3-30B-A3B and GLM-4.7-Flash across 11 benchmarks spanning math, code, and instruction following, ZEDA eliminates over 50% of expert FLOPs at marginal accuracy loss. It outperforms the strongest dynamic MoE baseline by 6.1 and 4.0 points on the two models, and delivers ~1.20times end-to-end inference speedup.