Одношаговая задержка градиента не является препятствием для крупномасштабного асинхронного конвейерно-параллельного предварительного обучения LLM.

Аннотация

Современное крупномасштабное предобучение LLM выигрывает от использования конвейерного параллелизма; однако синхронные реализации оставляют GPU простаивающими во время пузырей конвейера, что приводит к неэффективному расходованию вычислительных ресурсов. Асинхронный конвейерный параллелизм устраняет эти пузыри, максимизируя пропускную способность ценой устаревания градиентов. Среди асинхронных графиков PipeDream-2BW особенно привлекателен: в отличие от исходного графика PipeDream, он обеспечивает постоянную задержку градиента на один шаг независимо от глубины конвейера. Однако его внедрение остается ограниченным из-за распространенного убеждения, что оптимизация в условиях устаревания принципиально нестабильна. В данной работе мы оспариваем это предположение, демонстрируя, что ухудшение производительности при задержке на один шаг сильно зависит от выбора оптимизатора, а не является внутренним ограничением. Мы представляем первый всесторонний эмпирический анализ, показывающий, что в то время как AdamW — преобладающий оптимизатор на момент появления PipeDream-2BW — действительно страдает от серьезной деградации, современные методы, такие как Muon, проявляют высокую устойчивость к задержке на один шаг. Мы вводим коррекцию, вдохновленную обратной связью по ошибкам (Error Feedback), не зависящую от оптимизатора, для дальнейшего смягчения эффектов задержки. Мы приводим подтверждающий теоретический анализ, демонстрирующий сходимость для Muon как с этой коррекцией, так и без нее. Обширная оценка на моделях размером до 10 миллиардов параметров подтверждает, что наши стратегии устраняют разрыв в производительности с синхронным обучением, подчеркивая практический потенциал асинхронного конвейерного параллелизма в масштабе.

English

Modern large-scale LLM pretraining benefits from utilizing Pipeline Parallelism; however, synchronous implementations leave GPUs idle during pipeline bubbles, wasting computational resources. Asynchronous Pipeline Parallelism eliminates these bubbles, maximizing throughput at the cost of gradient staleness. Among asynchronous schedules, PipeDream-2BW is particularly appealing: unlike the original PipeDream schedule, it ensures a constant one-step gradient delay regardless of pipeline depth. However, its adoption remains limited due to the common belief that optimizing under staleness is fundamentally unstable. In this work, we challenge this assumption, demonstrating that degradation under one-step delay depends strongly on optimizer choice rather than being an intrinsic limitation. We provide the first comprehensive empirical analysis showing that while AdamW, the predominant optimizer at the time when PipeDream-2BW was introduced, indeed suffers from severe degradation, recent methods like Muon exhibit strong robustness under a one-step delay. We introduce an optimizer-agnostic Error Feedback-inspired correction to further mitigate delay effects. We provide supporting theoretical analysis demonstrating convergence for Muon with and without this correction. Extensive evaluation on models up to 10B parameters confirms that our strategies bridge the performance gap with synchronous training, highlighting the practical potential of asynchronous pipeline parallelism at scale.