REAM: A Fusão Melhora a Poda de Especialistas em LLMs
REAM: Merging Improves Pruning of Experts in LLMs
April 6, 2026
Autores: Saurav Jha, Maryam Hashemzadeh, Ali Saheb Pasand, Ali Parviz, Min-Joong Lee, Boris Knyazev
cs.AI
Resumo
Os modelos de linguagem de grande escala (LLMs) do tipo Mixture-of-Experts (MoE) estão entre as arquiteturas com melhor desempenho. Os maiores modelos, frequentemente com centenas de bilhões de parâmetros, apresentam desafios significativos de memória para implantação. As abordagens tradicionais para reduzir os requisitos de memória incluem o *pruning* (poda) e a quantização de pesos. Motivados pelo método REAP (*Router-weighted Expert Activation Pruning*), que realiza a poda de *experts*, propomos um novo método, o REAM (*Router-weighted Expert Activation Merging*). Em vez de remover *experts*, o REAM os agrupa e funde seus pesos, preservando melhor o desempenho original. Avaliamos o REAP em comparação com o REAP e outras linhas de base em vários LLMs MoE, utilizando diversos benchmarks de tarefas de questionamento de múltipla escolha (MC) e de geração (GEN). Nossos resultados revelam uma relação de compromisso (*trade-off*) entre o desempenho em MC e GEN que depende da mistura de dados de calibração. Ao controlar a mistura de dados gerais, matemáticos e de codificação, examinamos a fronteira de Pareto desse compromisso e mostramos que o REAM frequentemente supera as linhas de base e, em muitos casos, é comparável aos modelos originais não comprimidos.
English
Mixture-of-Experts (MoE) large language models (LLMs) are among the top-performing architectures. The largest models, often with hundreds of billions of parameters, pose significant memory challenges for deployment. Traditional approaches to reduce memory requirements include weight pruning and quantization. Motivated by the Router-weighted Expert Activation Pruning (REAP) that prunes experts, we propose a novel method, Router-weighted Expert Activation Merging (REAM). Instead of removing experts, REAM groups them and merges their weights, better preserving original performance. We evaluate REAM against REAP and other baselines across multiple MoE LLMs on diverse multiple-choice (MC) question answering and generative (GEN) benchmarks. Our results reveal a trade-off between MC and GEN performance that depends on the mix of calibration data. By controlling the mix of general, math and coding data, we examine the Pareto frontier of this trade-off and show that REAM often outperforms the baselines and in many cases is comparable to the original uncompressed models.