El retardo de gradiente de un paso no es una barrera para el preentrenamiento a gran escala de LLM con paralelismo de tubería asíncrono

Resumen

El entrenamiento previo de LLM a gran escala moderna se beneficia del uso de Paralelismo de Tuberías; sin embargo, las implementaciones síncronas dejan las GPU inactivas durante las burbujas de tubería, desperdiciando recursos computacionales. El Paralelismo de Tuberías Asíncrono elimina estas burbujas, maximizando el rendimiento a costa de la desactualización del gradiente. Entre los esquemas asíncronos, PipeDream-2BW resulta particularmente atractivo: a diferencia del esquema original de PipeDream, garantiza un retardo de gradiente constante de un paso, independientemente de la profundidad de la tubería. Sin embargo, su adopción sigue siendo limitada debido a la creencia común de que optimizar bajo desactualización es fundamentalmente inestable. En este trabajo, cuestionamos esta suposición, demostrando que la degradación bajo un retardo de un paso depende fuertemente de la elección del optimizador y no de una limitación intrínseca. Proporcionamos el primer análisis empírico exhaustivo que muestra que, si bien AdamW, el optimizador predominante en el momento en que se introdujo PipeDream-2BW, sufre efectivamente una degradación severa, métodos recientes como Muon exhiben una robustez sólida bajo un retardo de un paso. Introducimos una corrección inspirada en la Retroalimentación de Error, independiente del optimizador, para mitigar aún más los efectos del retardo. Ofrecemos un análisis teórico de respaldo que demuestra la convergencia de Muon con y sin esta corrección. Una evaluación exhaustiva en modelos de hasta 10 mil millones de parámetros confirma que nuestras estrategias cierran la brecha de rendimiento con el entrenamiento síncrono, destacando el potencial práctico del paralelismo de tuberías asíncrono a gran escala.

English

Modern large-scale LLM pretraining benefits from utilizing Pipeline Parallelism; however, synchronous implementations leave GPUs idle during pipeline bubbles, wasting computational resources. Asynchronous Pipeline Parallelism eliminates these bubbles, maximizing throughput at the cost of gradient staleness. Among asynchronous schedules, PipeDream-2BW is particularly appealing: unlike the original PipeDream schedule, it ensures a constant one-step gradient delay regardless of pipeline depth. However, its adoption remains limited due to the common belief that optimizing under staleness is fundamentally unstable. In this work, we challenge this assumption, demonstrating that degradation under one-step delay depends strongly on optimizer choice rather than being an intrinsic limitation. We provide the first comprehensive empirical analysis showing that while AdamW, the predominant optimizer at the time when PipeDream-2BW was introduced, indeed suffers from severe degradation, recent methods like Muon exhibit strong robustness under a one-step delay. We introduce an optimizer-agnostic Error Feedback-inspired correction to further mitigate delay effects. We provide supporting theoretical analysis demonstrating convergence for Muon with and without this correction. Extensive evaluation on models up to 10B parameters confirms that our strategies bridge the performance gap with synchronous training, highlighting the practical potential of asynchronous pipeline parallelism at scale.