Parallélisme d'experts à charge minimale : Équilibrage de charge pour un mélange d'experts déséquilibré

Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts

January 23, 2026

papers.authors: Xuan-Phi Nguyen, Shrey Pandit, Austin Xu, Caiming Xiong, Shafiq Joty

cs.AI

papers.abstract

Les modèles à mélange d'experts (MoE) sont généralement pré-entraînés avec des contraintes explicites d'équilibrage de charge pour garantir un routage statistiquement équilibré des experts. Malgré cela, nous observons que même les modèles MoE bien entraînés présentent un routage significativement déséquilibré. Ce comportement est sans doute naturel - et même souhaitable - car un routage déséquilibré permet aux modèles de concentrer les connaissances spécifiques à un domaine dans un sous-ensemble d'experts. Le parallélisme d'experts (EP) est conçu pour mettre à l'échelle les modèles MoE en répartissant les experts sur plusieurs dispositifs, mais repose sur l'hypothèse moins discutée d'un routage équilibré. En cas de déséquilibre extrême, l'EP peut acheminer un nombre disproportionné de tokens vers un petit nombre d'experts, entraînant des défaillances liées au calcul et à la mémoire sur les dispositifs surchargés lors du post-entraînement ou de l'inférence, où l'équilibrage explicite de charge est souvent inapplicable. Nous proposons le parallélisme d'experts à charge minimale (LLEP), un nouvel algorithme d'EP qui reroute dynamiquement les tokens excédentaires et les paramètres d'expert associés des dispositifs surchargés vers ceux sous-utilisés. Cela garantit que tous les dispositifs terminent leur charge de travail avec la latence collective minimale tout en respectant les contraintes mémoire. Sur différentes échelles de modèles, LLEP permet d'atteindre jusqu'à 5x d'accélération et 4x de réduction de l'utilisation de mémoire de pointe par rapport à l'EP standard. Cela permet un post-entraînement et une inférence plus rapides et à plus haut débit, avec environ 1,9x plus rapide pour gpt-oss-120b. Nous étayons notre méthode par une analyse théorique approfondie et des évaluations empiriques complètes, incluant des études d'ablation. Ces résultats éclairent les compromis clés et permettent un cadre principiel pour le réglage d'hyperparamètres spécifiques au matériel afin d'atteindre des performances optimales.

English

Mixture-of-Experts (MoE) models are typically pre-trained with explicit load-balancing constraints to ensure statistically balanced expert routing. Despite this, we observe that even well-trained MoE models exhibit significantly imbalanced routing. This behavior is arguably natural-and even desirable - as imbalanced routing allows models to concentrate domain-specific knowledge within a subset of experts. Expert parallelism (EP) is designed to scale MoE models by distributing experts across multiple devices, but with a less-discussed assumption of balanced routing. Under extreme imbalance, EP can funnel a disproportionate number of tokens to a small number of experts, leading to compute- and memory-bound failures on overloaded devices during post-training or inference, where explicit load balancing is often inapplicable. We propose Least-Loaded Expert Parallelism (LLEP), a novel EP algorithm that dynamically reroutes excess tokens and associated expert parameters from overloaded devices to underutilized ones. This ensures that all devices complete their workloads within the minimum collective latency while respecting memory constraints. Across different model scales, LLEP achieves up to 5x speedup and 4x reduction in peak memory usage compared to standard EP. This enables faster and higher-throughput post-training and inference, with ~1.9x faster for gpt-oss-120b. We support our method with extensive theoretical analysis and comprehensive empirical evaluations, including ablation studies. These results illuminate key trade-offs and enable a principled framework for hardware-specific hyper-parameter tuning to achieve optimal performance.