Poda e Destilação de Mistura de Especialistas em Modelos de Linguagem Densos

Resumo

A Mistura de Especialistas (MoE) é atualmente a arquitetura dominante para modelos de linguagem de ponta, porém exige que todos os parâmetros dos especialistas sejam carregados em memória, tornando-a menos adequada para implantação com restrições de memória. Os métodos de compressão existentes reduzem o número de especialistas, mas a saída continua sendo um modelo MoE com a mesma limitação fundamental. Apresentamos o primeiro arcabouço sistemático para converter um MoE treinado em uma arquitetura totalmente densa padrão: especialistas são pontuados, selecionados e agrupados, depois concatenados em uma FFN densa e refinados por destilação de conhecimento do professor MoE. Avaliamos 7 métodos de pontuação, 5 de agrupamento e 2 de escalonamento de magnitude em uma variedade de contagens de especialistas selecionados no Qwen3-30B-A3B, totalizando 350 configurações. Descobrimos que a escolha do método de pontuação é a mais impactante, com nossa nova pontuação ciente de diversidade superando consistentemente métodos anteriores no Qwen3-30B-A3B, DeepSeek-V2-Lite e GPT-OSS-20B. Em uma comparação controlada com número de parâmetros equivalente, a conversão MoE-para-denso supera a poda denso-para-denso em +6,3 pp na acurácia média downstream após destilação de ~4 bilhões de tokens, com velocidade de treinamento 1,6x mais rápida em tempo real.

English

Mixture-of-Experts (MoE) is now the dominant architecture for frontier language models, yet it requires all expert parameters to be loaded in memory, making it less preferable for memory-constrained deployment. Existing compression methods reduce the number of experts but the output remains an MoE model with the same fundamental limitation. We present the first systematic framework for converting a trained MoE into a standard fully dense architecture: experts are scored, selected, and grouped, then concatenated into a dense FFN and refined by knowledge distillation from the MoE teacher. We evaluate 7 scoring, 5 grouping, and 2 magnitude scaling methods across a range of selected expert counts on Qwen3-30B-A3B, yielding 350 configurations. We find that the choice of scoring method is the most impactful, with our novel diversity-aware scoring consistently outperforming prior methods on Qwen3-30B-A3B, DeepSeek-V2-Lite, and GPT-OSS-20B. Under a controlled comparison at matched parameter count, MoE-to-dense outperforms dense-to-dense pruning by +6.3 pp in average downstream accuracy after ~4B-token distillation at 1.6x faster training wall-clock speed.