REAM: La Fusione Migliora il Potatura degli Esperti nei LLM

REAM: Merging Improves Pruning of Experts in LLMs

April 6, 2026

Autori: Saurav Jha, Maryam Hashemzadeh, Ali Saheb Pasand, Ali Parviz, Min-Joong Lee, Boris Knyazev

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) a Mistura di Esperti (MoE) sono tra le architetture con le migliori prestazioni. I modelli più grandi, spesso con centinaia di miliardi di parametri, pongono sfide significative per la memoria durante la distribuzione. Gli approcci tradizionali per ridurre i requisiti di memoria includono la potatura dei pesi e la quantizzazione. Prendendo spunto dal Router-weighted Expert Activation Pruning (REAP) che pota gli esperti, proponiamo un nuovo metodo, il Router-weighted Expert Activation Merging (REAM). Invece di rimuovere gli esperti, REAM li raggruppa e ne fonde i pesi, preservando meglio le prestazioni originali. Valutiamo REAM rispetto a REAP e ad altri metodi di riferimento su molteplici LLM MoE, utilizzando diversi benchmark di question answering a scelta multipla (MC) e generativi (GEN). I nostri risultati rivelano un compromesso tra le prestazioni MC e GEN che dipende dalla composizione dei dati di calibrazione. Controllando il mix di dati generici, matematici e di programmazione, esaminiamo la frontiera di Pareto di questo compromesso e dimostriamo che REAM spesso supera i metodi di riferimento e in molti casi è paragonabile ai modelli originali non compressi.

English

Mixture-of-Experts (MoE) large language models (LLMs) are among the top-performing architectures. The largest models, often with hundreds of billions of parameters, pose significant memory challenges for deployment. Traditional approaches to reduce memory requirements include weight pruning and quantization. Motivated by the Router-weighted Expert Activation Pruning (REAP) that prunes experts, we propose a novel method, Router-weighted Expert Activation Merging (REAM). Instead of removing experts, REAM groups them and merges their weights, better preserving original performance. We evaluate REAM against REAP and other baselines across multiple MoE LLMs on diverse multiple-choice (MC) question answering and generative (GEN) benchmarks. Our results reveal a trade-off between MC and GEN performance that depends on the mix of calibration data. By controlling the mix of general, math and coding data, we examine the Pareto frontier of this trade-off and show that REAM often outperforms the baselines and in many cases is comparable to the original uncompressed models.