Le délai de gradient en une étape n'est pas un obstacle pour le pré-entraînement LLM parallèle en pipeline asynchrone à grande échelle.

Résumé

L'entraînement préalable des LLM à grande échelle bénéficie de l'utilisation du parallélisme de pipeline ; cependant, les implémentations synchrones laissent les GPU inactifs pendant les bulles de pipeline, gaspillant ainsi les ressources de calcul. Le parallélisme de pipeline asynchrone élimine ces bulles, maximisant le débit au prix d'une obsolescence du gradient. Parmi les ordonnancements asynchrones, PipeDream-2BW est particulièrement attrayant : contrairement à l'ordonnancement original de PipeDream, il garantit un délai constant d'un pas de gradient, quelle que soit la profondeur du pipeline. Cependant, son adoption reste limitée en raison de la croyance répandue selon laquelle l'optimisation sous obsolescence est fondamentalement instable. Dans ce travail, nous remettons en question cette hypothèse, en démontrant que la dégradation sous un délai d'un pas dépend fortement du choix de l'optimiseur plutôt que d'être une limitation intrinsèque. Nous fournissons la première analyse empirique complète montrant que, tandis qu'AdamW, l'optimiseur prédominant à l'époque où PipeDream-2BW a été introduit, souffre effectivement d'une dégradation sévère, des méthodes récentes comme Muon présentent une robustesse marquée sous un délai d'un pas. Nous introduisons une correction inspirée du retour d'erreur, indépendante de l'optimiseur, pour atténuer davantage les effets du délai. Nous fournissons une analyse théorique de soutien démontrant la convergence de Muon avec et sans cette correction. Une évaluation approfondie sur des modèles allant jusqu'à 10 milliards de paramètres confirme que nos stratégies comblent l'écart de performance avec l'entraînement synchrone, mettant en lumière le potentiel pratique du parallélisme de pipeline asynchrone à grande échelle.

English

Modern large-scale LLM pretraining benefits from utilizing Pipeline Parallelism; however, synchronous implementations leave GPUs idle during pipeline bubbles, wasting computational resources. Asynchronous Pipeline Parallelism eliminates these bubbles, maximizing throughput at the cost of gradient staleness. Among asynchronous schedules, PipeDream-2BW is particularly appealing: unlike the original PipeDream schedule, it ensures a constant one-step gradient delay regardless of pipeline depth. However, its adoption remains limited due to the common belief that optimizing under staleness is fundamentally unstable. In this work, we challenge this assumption, demonstrating that degradation under one-step delay depends strongly on optimizer choice rather than being an intrinsic limitation. We provide the first comprehensive empirical analysis showing that while AdamW, the predominant optimizer at the time when PipeDream-2BW was introduced, indeed suffers from severe degradation, recent methods like Muon exhibit strong robustness under a one-step delay. We introduce an optimizer-agnostic Error Feedback-inspired correction to further mitigate delay effects. We provide supporting theoretical analysis demonstrating convergence for Muon with and without this correction. Extensive evaluation on models up to 10B parameters confirms that our strategies bridge the performance gap with synchronous training, highlighting the practical potential of asynchronous pipeline parallelism at scale.