REAM : La fusion améliore l'élagage des experts dans les LLM

REAM: Merging Improves Pruning of Experts in LLMs

April 6, 2026

Auteurs: Saurav Jha, Maryam Hashemzadeh, Ali Saheb Pasand, Ali Parviz, Min-Joong Lee, Boris Knyazev

cs.AI

Résumé

Les modèles de langage de grande taille (LLM) à architecture Mixture-of-Experts (MoE) figurent parmi les architectures les plus performantes. Les plus grands modèles, comportant souvent des centaines de milliards de paramètres, posent d'importants défis mémoire pour leur déploiement. Les approches traditionnelles pour réduire les besoins en mémoire incluent l'élagage des poids et la quantification. Motivés par la méthode REAP (Router-weighted Expert Activation Pruning) qui élimine des experts, nous proposons une nouvelle méthode, REAM (Router-weighted Expert Activation Merging). Au lieu de supprimer des experts, REAM les regroupe et fusionne leurs poids, préservant ainsi mieux les performances originales. Nous évaluons REAM contre REAP et d'autres méthodes de référence sur plusieurs LLM MoE, en utilisant divers benchmarks de questions à choix multiples (MC) et de génération de texte (GEN). Nos résultats révèlent un compromis entre les performances MC et GEN qui dépend du mélange de données d'étalonnage. En contrôlant le mélange de données générales, mathématiques et de code, nous examinons la frontière de Pareto de ce compromis et montrons que REAM surpasse souvent les méthodes de référence et, dans de nombreux cas, est comparable aux modèles originaux non compressés.

English

Mixture-of-Experts (MoE) large language models (LLMs) are among the top-performing architectures. The largest models, often with hundreds of billions of parameters, pose significant memory challenges for deployment. Traditional approaches to reduce memory requirements include weight pruning and quantization. Motivated by the Router-weighted Expert Activation Pruning (REAP) that prunes experts, we propose a novel method, Router-weighted Expert Activation Merging (REAM). Instead of removing experts, REAM groups them and merges their weights, better preserving original performance. We evaluate REAM against REAP and other baselines across multiple MoE LLMs on diverse multiple-choice (MC) question answering and generative (GEN) benchmarks. Our results reveal a trade-off between MC and GEN performance that depends on the mix of calibration data. By controlling the mix of general, math and coding data, we examine the Pareto frontier of this trade-off and show that REAM often outperforms the baselines and in many cases is comparable to the original uncompressed models.