CMoE: Schnelles Schnitzen von Expertenmischungen für effiziente LLM-Inferenz

CMoE: Fast Carving of Mixture-of-Experts for Efficient LLM Inference

February 6, 2025

Autoren: Zehua Pei, Lancheng Zou, Hui-Ling Zhen, Xianzhi Yu, Wulong Liu, Sinno Jialin Pan, Mingxuan Yuan, Bei Yu

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) erzielen beeindruckende Leistungen durch die Skalierung von Modellparametern, was jedoch mit erheblichem Inferenzaufwand einhergeht. Feedforward-Netzwerke (FFNs), die die Parameter von LLMs dominieren, weisen eine hohe Aktivitätssparsamkeit in versteckten Neuronen auf. Um dies auszunutzen, haben Forscher vorgeschlagen, eine Mischung-von-Experten (MoE)-Architektur zu verwenden, bei der nur eine Teilmenge der Parameter aktiviert wird. Allerdings erfordern bestehende Ansätze oft umfangreiche Trainingsdaten und Ressourcen, was ihre Praktikabilität einschränkt. Wir schlagen CMoE (Carved MoE) vor, ein neuartiges Framework zur effizienten Erstellung von MoE-Modellen aus dichten Modellen. CMoE erzielt bemerkenswerte Leistungen durch effiziente Expertengruppierung und leichte Anpassung. Zunächst werden Neuronen basierend auf Aktivierungsraten in gemeinsame und geroutete Experten gruppiert. Anschließend konstruieren wir einen Routing-Mechanismus ohne Neuausrichtung, der einen differenzierbaren Routing-Prozess und Lastenausgleich integriert. Mit bescheidenen Daten erzeugt CMoE innerhalb von fünf Minuten ein gut gestaltetes, nutzbares MoE aus einem 7B-dichten Modell. Durch leichtgewichtiges Feintuning erreicht es eine schnelle Leistungssteigerung in weniger als einer Stunde. Unser Code ist öffentlich verfügbar unter https://github.com/JarvisPei/CMoE.

English

Large language models (LLMs) achieve impressive performance by scaling model parameters, but this comes with significant inference overhead. Feed-forward networks (FFNs), which dominate LLM parameters, exhibit high activation sparsity in hidden neurons. To exploit this, researchers have proposed using a mixture-of-experts (MoE) architecture, where only a subset of parameters is activated. However, existing approaches often require extensive training data and resources, limiting their practicality. We propose CMoE (Carved MoE), a novel framework to efficiently carve MoE models from dense models. CMoE achieves remarkable performance through efficient expert grouping and lightweight adaptation. First, neurons are grouped into shared and routed experts based on activation rates. Next, we construct a routing mechanism without training from scratch, incorporating a differentiable routing process and load balancing. Using modest data, CMoE produces a well-designed, usable MoE from a 7B dense model within five minutes. With lightweight fine-tuning, it achieves high-performance recovery in under an hour. We make our code publicly available at https://github.com/JarvisPei/CMoE.