Наименее загруженный экспертный параллелизм: балансировка нагрузки несбалансированной смеси экспертов

Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts

January 23, 2026

Авторы: Xuan-Phi Nguyen, Shrey Pandit, Austin Xu, Caiming Xiong, Shafiq Joty

cs.AI

Аннотация

Модели со смесью экспертов (MoE) обычно предобучаются с явными ограничениями балансировки нагрузки, чтобы обеспечить статистически сбалансированное распределение данных между экспертами. Несмотря на это, мы наблюдаем, что даже хорошо обученные MoE-модели демонстрируют значительный дисбаланс в маршрутизации. Такое поведение, возможно, является естественным — и даже желательным, — поскольку несбалансированная маршрутизация позволяет моделям концентрировать предметные знания в подмножестве экспертов. Экспертный параллелизм (EP) предназначен для масштабирования MoE-моделей путем распределения экспертов по нескольким устройствам, но при этом он основывается на мало обсуждаемом предположении о сбалансированной маршрутизации. При экстремальном дисбалансе EP может направлять непропорционально большое количество токенов к небольшому числу экспертов, что приводит к вычислительным и память-ограниченным сбоям на перегруженных устройствах во время пост-обучения или вывода, когда явная балансировка нагрузки часто неприменима. Мы предлагаем Экспертный Параллелизм с Наименьшей Нагрузкой (LLEP) — новый алгоритм EP, который динамически перенаправляет избыточные токены и связанные с ними параметры экспертов с перегруженных устройств на недогруженные. Это гарантирует, что все устройства завершают свои задачи в рамках минимальной совокупной задержки с учетом ограничений памяти. На различных масштабах моделей LLEP обеспечивает до 5-кратного ускорения и 4-кратного снижения пикового использования памяти по сравнению со стандартным EP. Это позволяет ускорить пост-обучение и вывод с более высокой пропускной способностью, например, для модели gpt-oss-120b ускорение составляет примерно в 1,9 раза. Мы подкрепляем наш метод обширным теоретическим анализом и всесторонними эмпирическими оценками, включая абляционные исследования. Эти результаты выявляют ключевые компромиссы и позволяют создать принципиальную основу для аппаратно-специфической настройки гиперпараметров для достижения оптимальной производительности.

English

Mixture-of-Experts (MoE) models are typically pre-trained with explicit load-balancing constraints to ensure statistically balanced expert routing. Despite this, we observe that even well-trained MoE models exhibit significantly imbalanced routing. This behavior is arguably natural-and even desirable - as imbalanced routing allows models to concentrate domain-specific knowledge within a subset of experts. Expert parallelism (EP) is designed to scale MoE models by distributing experts across multiple devices, but with a less-discussed assumption of balanced routing. Under extreme imbalance, EP can funnel a disproportionate number of tokens to a small number of experts, leading to compute- and memory-bound failures on overloaded devices during post-training or inference, where explicit load balancing is often inapplicable. We propose Least-Loaded Expert Parallelism (LLEP), a novel EP algorithm that dynamically reroutes excess tokens and associated expert parameters from overloaded devices to underutilized ones. This ensures that all devices complete their workloads within the minimum collective latency while respecting memory constraints. Across different model scales, LLEP achieves up to 5x speedup and 4x reduction in peak memory usage compared to standard EP. This enables faster and higher-throughput post-training and inference, with ~1.9x faster for gpt-oss-120b. We support our method with extensive theoretical analysis and comprehensive empirical evaluations, including ablation studies. These results illuminate key trade-offs and enable a principled framework for hardware-specific hyper-parameter tuning to achieve optimal performance.