REAM: La Fusión Mejora la Poda de Expertos en los LLM

REAM: Merging Improves Pruning of Experts in LLMs

April 6, 2026

Autores: Saurav Jha, Maryam Hashemzadeh, Ali Saheb Pasand, Ali Parviz, Min-Joong Lee, Boris Knyazev

cs.AI

Resumen

Los modelos de lenguaje extenso (LLM) de tipo Mixture-of-Experts (MoE) se encuentran entre las arquitecturas de mejor rendimiento. Los modelos más grandes, que a menudo tienen cientos de miles de millones de parámetros, presentan desafíos significativos de memoria para su implementación. Los enfoques tradicionales para reducir los requisitos de memoria incluyen la poda de pesos y la cuantización. Motivados por la Poda de Activación de Expertos Ponderada por el Enrutador (REAP), que elimina expertos, proponemos un método novedoso, la Fusión de Activación de Expertos Ponderada por el Enrutador (REAM). En lugar de eliminar expertos, REAM los agrupa y fusiona sus pesos, preservando mejor el rendimiento original. Evaluamos REAM frente a REAP y otros métodos de referencia en múltiples LLMs MoE utilizando diversos puntos de referencia de preguntas de opción múltiple (MC) y de generación (GEN). Nuestros resultados revelan una compensación entre el rendimiento en MC y GEN que depende de la mezcla de datos de calibración. Al controlar la mezcla de datos generales, matemáticos y de programación, examinamos la frontera de Pareto de esta compensación y demostramos que REAM a menudo supera a los métodos de referencia y en muchos casos es comparable a los modelos originales sin comprimir.

English

Mixture-of-Experts (MoE) large language models (LLMs) are among the top-performing architectures. The largest models, often with hundreds of billions of parameters, pose significant memory challenges for deployment. Traditional approaches to reduce memory requirements include weight pruning and quantization. Motivated by the Router-weighted Expert Activation Pruning (REAP) that prunes experts, we propose a novel method, Router-weighted Expert Activation Merging (REAM). Instead of removing experts, REAM groups them and merges their weights, better preserving original performance. We evaluate REAM against REAP and other baselines across multiple MoE LLMs on diverse multiple-choice (MC) question answering and generative (GEN) benchmarks. Our results reveal a trade-off between MC and GEN performance that depends on the mix of calibration data. By controlling the mix of general, math and coding data, we examine the Pareto frontier of this trade-off and show that REAM often outperforms the baselines and in many cases is comparable to the original uncompressed models.