Least-Loaded Expert Parallelismus: Lastverteilung für ein unausgeglichenes Mixture-of-Experts

Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts

January 23, 2026

papers.authors: Xuan-Phi Nguyen, Shrey Pandit, Austin Xu, Caiming Xiong, Shafiq Joty

cs.AI

papers.abstract

Mixture-of-Experts (MoE)-Modelle werden in der Regel mit expliziten Lastverteilungsbeschränkungen vortrainiert, um eine statistisch ausgeglichene Expertenzuordnung zu gewährleisten. Dennoch beobachten wir, dass selbst gut trainierte MoE-Modelle eine signifikant unausgeglichene Zuordnung aufweisen. Dieses Verhalten ist wohl natürlich – und sogar wünschenswert –, da eine unausgeglichene Zuordnung es Modellen ermöglicht, domänenspezifisches Wissen in einer Teilmenge von Experten zu bündeln. Expertenparallelismus (EP) ist darauf ausgelegt, MoE-Modelle zu skalieren, indem Experten auf mehrere Geräte verteilt werden, basierend auf der weniger diskutierten Annahme einer ausgeglichenen Zuordnung. Bei extremer Unausgeglichenheit kann EP eine unverhältnismäßig große Anzahl von Tokens an eine kleine Anzahl von Experten weiterleiten, was zu rechen- und speicherbedingten Ausfällen auf überlasteten Geräten während des Post-Trainings oder Inferenz führt, wo explizite Lastverteilung oft nicht anwendbar ist. Wir schlagen Least-Loaded Expert Parallelism (LLEP) vor, einen neuartigen EP-Algorithmus, der überschüssige Tokens und zugehörige Expertenparameter dynamisch von überlasteten Geräten zu ungenutzten Geräten umleitet. Dies stellt sicher, dass alle Geräte ihre Arbeitslasten innerhalb der minimalen kollektiven Latenzzeit und unter Einhaltung der Speicherbeschränkungen abschließen. Über verschiedene Modellskalen hinweg erreicht LLEP im Vergleich zu Standard-EP eine bis zu 5-fache Beschleunigung und eine 4-fache Reduzierung der Spitzenspeichernutzung. Dies ermöglicht ein schnelleres Post-Training und einen höheren Durchsatz bei der Inferenz, mit ~1,9-facher Geschwindigkeit für gpt-oss-120b. Wir untermauern unsere Methode mit umfangreichen theoretischen Analysen und umfassenden empirischen Auswertungen, einschließlich Ablationsstudien. Diese Ergebnisse beleuchten wichtige Zielkonflikte und ermöglichen einen prinzipienbasierten Rahmen für hardware-spezifische Hyperparameter-Optimierung, um eine optimale Leistung zu erzielen.

English

Mixture-of-Experts (MoE) models are typically pre-trained with explicit load-balancing constraints to ensure statistically balanced expert routing. Despite this, we observe that even well-trained MoE models exhibit significantly imbalanced routing. This behavior is arguably natural-and even desirable - as imbalanced routing allows models to concentrate domain-specific knowledge within a subset of experts. Expert parallelism (EP) is designed to scale MoE models by distributing experts across multiple devices, but with a less-discussed assumption of balanced routing. Under extreme imbalance, EP can funnel a disproportionate number of tokens to a small number of experts, leading to compute- and memory-bound failures on overloaded devices during post-training or inference, where explicit load balancing is often inapplicable. We propose Least-Loaded Expert Parallelism (LLEP), a novel EP algorithm that dynamically reroutes excess tokens and associated expert parameters from overloaded devices to underutilized ones. This ensures that all devices complete their workloads within the minimum collective latency while respecting memory constraints. Across different model scales, LLEP achieves up to 5x speedup and 4x reduction in peak memory usage compared to standard EP. This enables faster and higher-throughput post-training and inference, with ~1.9x faster for gpt-oss-120b. We support our method with extensive theoretical analysis and comprehensive empirical evaluations, including ablation studies. These results illuminate key trade-offs and enable a principled framework for hardware-specific hyper-parameter tuning to achieve optimal performance.