CMoE: Быстрое формирование смеси экспертов для эффективного вывода LLM.

CMoE: Fast Carving of Mixture-of-Experts for Efficient LLM Inference

February 6, 2025

Авторы: Zehua Pei, Lancheng Zou, Hui-Ling Zhen, Xianzhi Yu, Wulong Liu, Sinno Jialin Pan, Mingxuan Yuan, Bei Yu

cs.AI

Аннотация

Большие языковые модели (LLM) достигают впечатляющей производительности за счет увеличения параметров модели, но это сопровождается значительной нагрузкой на вывод. Передаточные сети (FFN), которые доминируют среди параметров LLM, проявляют высокую разреженность активации в скрытых нейронах. Для использования этого исследователи предложили использовать архитектуру смеси экспертов (MoE), где активируется только подмножество параметров. Однако существующие подходы часто требуют обширных обучающих данных и ресурсов, что ограничивает их практическую применимость. Мы предлагаем CMoE (Carved MoE), новую структуру для эффективного выделения моделей MoE из плотных моделей. CMoE достигает выдающейся производительности благодаря эффективной группировке экспертов и легкой адаптации. Сначала нейроны группируются на общих и маршрутизированных экспертов на основе уровней активации. Затем мы создаем механизм маршрутизации без обучения с нуля, включая дифференцируемый процесс маршрутизации и балансировку нагрузки. Используя умеренные данные, CMoE создает хорошо спроектированный, применимый MoE из плотной модели на 7 миллиардов параметров за пять минут. С помощью легкой донастройки он достигает восстановления высокой производительности менее чем за час. Мы предоставляем наш код публично по адресу https://github.com/JarvisPei/CMoE.

English

Large language models (LLMs) achieve impressive performance by scaling model parameters, but this comes with significant inference overhead. Feed-forward networks (FFNs), which dominate LLM parameters, exhibit high activation sparsity in hidden neurons. To exploit this, researchers have proposed using a mixture-of-experts (MoE) architecture, where only a subset of parameters is activated. However, existing approaches often require extensive training data and resources, limiting their practicality. We propose CMoE (Carved MoE), a novel framework to efficiently carve MoE models from dense models. CMoE achieves remarkable performance through efficient expert grouping and lightweight adaptation. First, neurons are grouped into shared and routed experts based on activation rates. Next, we construct a routing mechanism without training from scratch, incorporating a differentiable routing process and load balancing. Using modest data, CMoE produces a well-designed, usable MoE from a 7B dense model within five minutes. With lightweight fine-tuning, it achieves high-performance recovery in under an hour. We make our code publicly available at https://github.com/JarvisPei/CMoE.