CMoE: Escultura Rápida de Mistura de Especialistas para Inferência Eficiente de LLM

CMoE: Fast Carving of Mixture-of-Experts for Efficient LLM Inference

February 6, 2025

Autores: Zehua Pei, Lancheng Zou, Hui-Ling Zhen, Xianzhi Yu, Wulong Liu, Sinno Jialin Pan, Mingxuan Yuan, Bei Yu

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) alcançam um desempenho impressionante escalando os parâmetros do modelo, mas isso acarreta em um significativo overhead de inferência. Redes feed-forward (FFNs), que dominam os parâmetros do LLM, exibem alta esparsidade de ativação em neurônios ocultos. Para explorar isso, os pesquisadores propuseram o uso de uma arquitetura de mistura de especialistas (MoE), onde apenas um subconjunto de parâmetros é ativado. No entanto, abordagens existentes frequentemente requerem extensos dados de treinamento e recursos, limitando sua praticidade. Propomos CMoE (Carved MoE), um novo framework para esculpir eficientemente modelos MoE a partir de modelos densos. CMoE alcança um desempenho notável através de um agrupamento eficiente de especialistas e uma adaptação leve. Primeiramente, os neurônios são agrupados em especialistas compartilhados e roteados com base nas taxas de ativação. Em seguida, construímos um mecanismo de roteamento sem treinamento do zero, incorporando um processo de roteamento diferenciável e balanceamento de carga. Utilizando dados modestos, CMoE produz um MoE bem projetado e utilizável a partir de um modelo denso de 7B em cinco minutos. Com um ajuste fino leve, ele alcança uma recuperação de alto desempenho em menos de uma hora. Disponibilizamos nosso código publicamente em https://github.com/JarvisPei/CMoE.

English

Large language models (LLMs) achieve impressive performance by scaling model parameters, but this comes with significant inference overhead. Feed-forward networks (FFNs), which dominate LLM parameters, exhibit high activation sparsity in hidden neurons. To exploit this, researchers have proposed using a mixture-of-experts (MoE) architecture, where only a subset of parameters is activated. However, existing approaches often require extensive training data and resources, limiting their practicality. We propose CMoE (Carved MoE), a novel framework to efficiently carve MoE models from dense models. CMoE achieves remarkable performance through efficient expert grouping and lightweight adaptation. First, neurons are grouped into shared and routed experts based on activation rates. Next, we construct a routing mechanism without training from scratch, incorporating a differentiable routing process and load balancing. Using modest data, CMoE produces a well-designed, usable MoE from a 7B dense model within five minutes. With lightweight fine-tuning, it achieves high-performance recovery in under an hour. We make our code publicly available at https://github.com/JarvisPei/CMoE.