REAM: Samenvoegen verbetert het uitdunnen van experts in grote taalmodellen

REAM: Merging Improves Pruning of Experts in LLMs

April 6, 2026

Auteurs: Saurav Jha, Maryam Hashemzadeh, Ali Saheb Pasand, Ali Parviz, Min-Joong Lee, Boris Knyazev

cs.AI

Samenvatting

Mixture-of-Experts (MoE) large language models (LLM's) behoren tot de best presterende architecturen. De grootste modellen, vaak met honderden miljarden parameters, vormen aanzienlijke geheugenuitdagingen voor implementatie. Traditionele benaderingen om de geheugenvereisten te verminderen omvatten gewichtspruning en kwantisatie. Geïnspireerd door Router-weighted Expert Activation Pruning (REAP) dat experts pruneert, stellen we een nieuwe methode voor, Router-weighted Expert Activation Merging (REAM). In plaats van experts te verwijderen, groepeert REAM ze en fuseert hun gewichten, waardoor de oorspronkelijke prestaties beter behouden blijven. We evalueren REAM tegenover REAP en andere baseline-methoden voor meerdere MoE LLM's op diverse multiple-choice (MC) vraag-antwoord- en generatieve (GEN) benchmarks. Onze resultaten onthullen een afweging tussen MC- en GEN-prestaties die afhangt van de samenstelling van de calibratiegegevens. Door de mix van algemene, wiskundige en programmeergegevens te controleren, onderzoeken we de Pareto-grens van deze afweging en tonen we aan dat REAM vaak de baseline-methoden overtreft en in veel gevallen vergelijkbaar is met de oorspronkelijke ongecomprimeerde modellen.

English

Mixture-of-Experts (MoE) large language models (LLMs) are among the top-performing architectures. The largest models, often with hundreds of billions of parameters, pose significant memory challenges for deployment. Traditional approaches to reduce memory requirements include weight pruning and quantization. Motivated by the Router-weighted Expert Activation Pruning (REAP) that prunes experts, we propose a novel method, Router-weighted Expert Activation Merging (REAM). Instead of removing experts, REAM groups them and merges their weights, better preserving original performance. We evaluate REAM against REAP and other baselines across multiple MoE LLMs on diverse multiple-choice (MC) question answering and generative (GEN) benchmarks. Our results reveal a trade-off between MC and GEN performance that depends on the mix of calibration data. By controlling the mix of general, math and coding data, we examine the Pareto frontier of this trade-off and show that REAM often outperforms the baselines and in many cases is comparable to the original uncompressed models.