CMoE: Intaglio Veloce di una Miscela di Esperti per un'Inferenza Efficient LLM

CMoE: Fast Carving of Mixture-of-Experts for Efficient LLM Inference

February 6, 2025

Autori: Zehua Pei, Lancheng Zou, Hui-Ling Zhen, Xianzhi Yu, Wulong Liu, Sinno Jialin Pan, Mingxuan Yuan, Bei Yu

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) raggiungono prestazioni impressionanti scalando i parametri del modello, ma ciò comporta un notevole overhead inferenziale. Le reti feed-forward (FFN), che dominano i parametri del LLM, mostrano un'elevata sparso attivazione nei neuroni nascosti. Per sfruttare ciò, i ricercatori hanno proposto l'utilizzo di un'architettura a misto di esperti (MoE), in cui solo un sottoinsieme di parametri è attivato. Tuttavia, gli approcci esistenti richiedono spesso un'elevata quantità di dati di addestramento e risorse, limitandone la praticità. Proponiamo CMoE (Carved MoE), un nuovo framework per intagliare in modo efficiente modelli MoE da modelli densi. CMoE raggiunge prestazioni notevoli attraverso un raggruppamento efficiente degli esperti e un'adattamento leggero. In primo luogo, i neuroni vengono raggruppati in esperti condivisi e instradati in base ai tassi di attivazione. Successivamente, costruiamo un meccanismo di instradamento senza addestramento da zero, incorporando un processo di instradamento differenziabile e un bilanciamento del carico. Utilizzando dati modesti, CMoE produce un MoE ben progettato e utilizzabile da un modello denso da 7 miliardi di parametri in cinque minuti. Con un leggero sintonizzazione, raggiunge un ripristino delle prestazioni elevato in meno di un'ora. Mettiamo il nostro codice a disposizione pubblicamente su https://github.com/JarvisPei/CMoE.

English

Large language models (LLMs) achieve impressive performance by scaling model parameters, but this comes with significant inference overhead. Feed-forward networks (FFNs), which dominate LLM parameters, exhibit high activation sparsity in hidden neurons. To exploit this, researchers have proposed using a mixture-of-experts (MoE) architecture, where only a subset of parameters is activated. However, existing approaches often require extensive training data and resources, limiting their practicality. We propose CMoE (Carved MoE), a novel framework to efficiently carve MoE models from dense models. CMoE achieves remarkable performance through efficient expert grouping and lightweight adaptation. First, neurons are grouped into shared and routed experts based on activation rates. Next, we construct a routing mechanism without training from scratch, incorporating a differentiable routing process and load balancing. Using modest data, CMoE produces a well-designed, usable MoE from a 7B dense model within five minutes. With lightweight fine-tuning, it achieves high-performance recovery in under an hour. We make our code publicly available at https://github.com/JarvisPei/CMoE.