REAM: Объединение улучшает прореживание экспертов в больших языковых моделях

REAM: Merging Improves Pruning of Experts in LLMs

April 6, 2026

Авторы: Saurav Jha, Maryam Hashemzadeh, Ali Saheb Pasand, Ali Parviz, Min-Joong Lee, Boris Knyazev

cs.AI

Аннотация

Модели больших языковых моделей (LLM) с архитектурой «смесь экспертов» (Mixture-of-Experts, MoE) являются одними из наиболее производительных. Крупнейшие модели, часто имеющие сотни миллиардов параметров, создают серьезные проблемы с памятью при развертывании. Традиционные подходы к снижению требований к памяти включают прореживание весов (pruning) и квантование. Мотивированные методом Router-weighted Expert Activation Pruning (REAP), который исключает экспертов, мы предлагаем новый метод — Router-weighted Expert Activation Merging (REAM). Вместо удаления экспертов REAM группирует их и объединяет их веса, что лучше сохраняет исходную производительность. Мы сравниваем REAP с REAP и другими базовыми методами на множестве MoE LLM в рамках различных бенчмарков: множественного выбора (MC) для вопросно-ответных задач и генеративных (GEN). Наши результаты выявляют компромисс между производительностью на задачах MC и GEN, который зависит от состава калибровочных данных. Управляя пропорцией общих, математических и программных данных, мы исследуем Парето-границу этого компромисса и показываем, что REAM часто превосходит базовые методы, а во многих случаях сравним с исходными несжатыми моделями.

English

Mixture-of-Experts (MoE) large language models (LLMs) are among the top-performing architectures. The largest models, often with hundreds of billions of parameters, pose significant memory challenges for deployment. Traditional approaches to reduce memory requirements include weight pruning and quantization. Motivated by the Router-weighted Expert Activation Pruning (REAP) that prunes experts, we propose a novel method, Router-weighted Expert Activation Merging (REAM). Instead of removing experts, REAM groups them and merges their weights, better preserving original performance. We evaluate REAM against REAP and other baselines across multiple MoE LLMs on diverse multiple-choice (MC) question answering and generative (GEN) benchmarks. Our results reveal a trade-off between MC and GEN performance that depends on the mix of calibration data. By controlling the mix of general, math and coding data, we examine the Pareto frontier of this trade-off and show that REAM often outperforms the baselines and in many cases is comparable to the original uncompressed models.