Paralelismo de Expertos de Menor Carga: Equilibrio de Carga en una Mezcla de Expertos Desequilibrada

Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts

January 23, 2026

Autores: Xuan-Phi Nguyen, Shrey Pandit, Austin Xu, Caiming Xiong, Shafiq Joty

cs.AI

Resumen

Los modelos Mixture-of-Experts (MoE) suelen ser preentrenados con restricciones explícitas de equilibrio de carga para garantizar un enrutamiento de expertos estadísticamente equilibrado. A pesar de esto, observamos que incluso los modelos MoE bien entrenados exhiben un enrutamiento significativamente desequilibrado. Este comportamiento es posiblemente natural, e incluso deseable, ya que el enrutamiento desequilibrado permite a los modelos concentrar conocimiento específico de dominio dentro de un subconjunto de expertos. El paralelismo de expertos (EP) está diseñado para escalar modelos MoE distribuyendo expertos en múltiples dispositivos, pero con una suposición menos discutida de enrutamiento equilibrado. Bajo un desequilibrio extremo, el EP puede canalizar un número desproporcionado de tokens hacia un pequeño número de expertos, lo que genera fallos por límites de computación y memoria en dispositivos sobrecargados durante el post-entrenamiento o la inferencia, donde el equilibrio explícito de carga a menudo no es aplicable. Proponemos el Paralelismo de Expertos de Menor Carga (LLEP), un algoritmo novedoso de EP que redirige dinámicamente los tokens excedentes y los parámetros de expertos asociados desde dispositivos sobrecargados hacia otros infrautilizados. Esto garantiza que todos los dispositivos completen sus cargas de trabajo dentro de la latencia colectiva mínima, respetando las restricciones de memoria. En diferentes escalas de modelos, LLEP logra una aceleración de hasta 5x y una reducción de 4x en el uso máximo de memoria en comparación con el EP estándar. Esto permite un post-entrenamiento y una inferencia más rápidos y de mayor rendimiento, siendo aproximadamente 1.9x más rápido para gpt-oss-120b. Respaldamos nuestro método con un extenso análisis teórico y evaluaciones empíricas exhaustivas, incluidos estudios de ablación. Estos resultados iluminan compensaciones clave y permiten un marco basado en principios para el ajuste de hiperparámetros específicos del hardware con el fin de lograr un rendimiento óptimo.

English

Mixture-of-Experts (MoE) models are typically pre-trained with explicit load-balancing constraints to ensure statistically balanced expert routing. Despite this, we observe that even well-trained MoE models exhibit significantly imbalanced routing. This behavior is arguably natural-and even desirable - as imbalanced routing allows models to concentrate domain-specific knowledge within a subset of experts. Expert parallelism (EP) is designed to scale MoE models by distributing experts across multiple devices, but with a less-discussed assumption of balanced routing. Under extreme imbalance, EP can funnel a disproportionate number of tokens to a small number of experts, leading to compute- and memory-bound failures on overloaded devices during post-training or inference, where explicit load balancing is often inapplicable. We propose Least-Loaded Expert Parallelism (LLEP), a novel EP algorithm that dynamically reroutes excess tokens and associated expert parameters from overloaded devices to underutilized ones. This ensures that all devices complete their workloads within the minimum collective latency while respecting memory constraints. Across different model scales, LLEP achieves up to 5x speedup and 4x reduction in peak memory usage compared to standard EP. This enables faster and higher-throughput post-training and inference, with ~1.9x faster for gpt-oss-120b. We support our method with extensive theoretical analysis and comprehensive empirical evaluations, including ablation studies. These results illuminate key trade-offs and enable a principled framework for hardware-specific hyper-parameter tuning to achieve optimal performance.