Einschrittige Gradientenverzögerung ist kein Hindernis für großskaliges asynchrones Pipeline-Parallel-LLM-Pretraining

Zusammenfassung

Moderne großskalige LLM-Pretraining profitiert von der Nutzung von Pipeline-Parallelismus; jedoch führen synchronisierte Implementierungen dazu, dass GPUs während Pipeline-Blasen untätig bleiben, was Rechenressourcen verschwendet. Asynchroner Pipeline-Parallelismus eliminiert diese Blasen und maximiert den Durchsatz auf Kosten der Gradienten-Staleness. Unter den asynchronen Ablaufplänen ist PipeDream-2BW besonders attraktiv: Anders als der ursprüngliche PipeDream-Ablaufplan gewährleistet es unabhängig von der Pipelineliefe eine konstante einschrittige Gradientenverzögerung. Seine Anwendung bleibt jedoch aufgrund der weit verbreiteten Annahme begrenzt, dass Optimierung unter Staleness grundlegend instabil sei. In dieser Arbeit stellen wir diese Annahme in Frage und zeigen, dass die Verschlechterung unter einschrittiger Verzögerung stark von der Wahl des Optimierers abhängt und keine intrinsische Einschränkung darstellt. Wir liefern die erste umfassende empirische Analyse, die zeigt, dass AdamW, der zur Zeit der Einführung von PipeDream-2BW vorherrschende Optimierer, tatsächlich unter schwerwiegender Verschlechterung leidet, während neuere Verfahren wie Muon eine starke Robustheit unter einer einschrittigen Verzögerung aufweisen. Wir führen eine von Error Feedback inspirierte, optimiereragnostische Korrektur ein, um die Verzögerungseffekte weiter abzumildern. Wir liefern unterstützende theoretische Analysen, die Konvergenz für Muon mit und ohne diese Korrektur belegen. Umfangreiche Evaluierungen an Modellen mit bis zu 10 Milliarden Parametern bestätigen, dass unsere Strategien die Leistungslücke zum synchronen Training schließen, was das praktische Potenzial asynchronen Pipeline-Parallelismus’ im großen Maßstab unterstreicht.

English

Modern large-scale LLM pretraining benefits from utilizing Pipeline Parallelism; however, synchronous implementations leave GPUs idle during pipeline bubbles, wasting computational resources. Asynchronous Pipeline Parallelism eliminates these bubbles, maximizing throughput at the cost of gradient staleness. Among asynchronous schedules, PipeDream-2BW is particularly appealing: unlike the original PipeDream schedule, it ensures a constant one-step gradient delay regardless of pipeline depth. However, its adoption remains limited due to the common belief that optimizing under staleness is fundamentally unstable. In this work, we challenge this assumption, demonstrating that degradation under one-step delay depends strongly on optimizer choice rather than being an intrinsic limitation. We provide the first comprehensive empirical analysis showing that while AdamW, the predominant optimizer at the time when PipeDream-2BW was introduced, indeed suffers from severe degradation, recent methods like Muon exhibit strong robustness under a one-step delay. We introduce an optimizer-agnostic Error Feedback-inspired correction to further mitigate delay effects. We provide supporting theoretical analysis demonstrating convergence for Muon with and without this correction. Extensive evaluation on models up to 10B parameters confirms that our strategies bridge the performance gap with synchronous training, highlighting the practical potential of asynchronous pipeline parallelism at scale.