Eénstapsgradiëntvertraging vormt geen barrière voor grootschalige asynchrone pijplijnparallelle LLM-pretraining

Samenvatting

Moderne grootschalige LLM-pre-training profiteert van het gebruik van pijplijnparallellisme; synchrone implementaties laten GPU's echter inactief tijdens pijplijnbellen, wat rekenbronnen verspilt. Asynchroon pijplijnparallellisme elimineert deze bellen, wat de doorvoer maximaliseert ten koste van veroudering van gradiënten. Van de asynchrone schema's is PipeDream-2BW bijzonder aantrekkelijk: in tegenstelling tot het oorspronkelijke PipeDream-schema zorgt het voor een constante vertraging van één stap in de gradiënten, ongeacht de pijplijndiepte. Het gebruik ervan blijft echter beperkt vanwege de algemene overtuiging dat optimaliseren onder veroudering fundamenteel instabiel is. In dit werk trekken we deze aanname in twijfel en tonen we aan dat degradatie onder een vertraging van één stap sterk afhangt van de keuze van de optimizer, in plaats van een intrinsieke beperking te zijn. We leveren de eerste uitgebreide empirische analyse waaruit blijkt dat, hoewel AdamW, de dominante optimizer op het moment dat PipeDream-2BW werd geïntroduceerd, inderdaad ernstige degradatie ondervindt, recente methoden zoals Muon een sterke robuustheid vertonen onder een vertraging van één stap. We introduceren een optimizer-agnostische, op foutterugkoppeling geïnspireerde correctie om de vertragingseffecten verder te beperken. We leveren ondersteunende theoretische analyse die convergentie aantoont voor Muon met en zonder deze correctie. Uitgebreide evaluatie op modellen tot 10 miljard parameters bevestigt dat onze strategieën de prestatiekloof met synchrone training overbruggen, wat het praktische potentieel van asynchroon pijplijnparallellisme op schaal benadrukt.

English

Modern large-scale LLM pretraining benefits from utilizing Pipeline Parallelism; however, synchronous implementations leave GPUs idle during pipeline bubbles, wasting computational resources. Asynchronous Pipeline Parallelism eliminates these bubbles, maximizing throughput at the cost of gradient staleness. Among asynchronous schedules, PipeDream-2BW is particularly appealing: unlike the original PipeDream schedule, it ensures a constant one-step gradient delay regardless of pipeline depth. However, its adoption remains limited due to the common belief that optimizing under staleness is fundamentally unstable. In this work, we challenge this assumption, demonstrating that degradation under one-step delay depends strongly on optimizer choice rather than being an intrinsic limitation. We provide the first comprehensive empirical analysis showing that while AdamW, the predominant optimizer at the time when PipeDream-2BW was introduced, indeed suffers from severe degradation, recent methods like Muon exhibit strong robustness under a one-step delay. We introduce an optimizer-agnostic Error Feedback-inspired correction to further mitigate delay effects. We provide supporting theoretical analysis demonstrating convergence for Muon with and without this correction. Extensive evaluation on models up to 10B parameters confirms that our strategies bridge the performance gap with synchronous training, highlighting the practical potential of asynchronous pipeline parallelism at scale.