1단계 그래디언트 지연은 대규모 비동기 파이프라인 병렬 LLM 사전 학습에 장벽이 아니다

초록

현대의 대규모 LLM 사전 학습은 파이프라인 병렬 처리를 활용함으로써 이점을 얻지만, 동기식 구현은 파이프라인 버블 동안 GPU를 유휴 상태로 만들어 컴퓨팅 자원을 낭비한다. 비동기 파이프라인 병렬 처리는 이러한 버블을 제거하여 처리량을 극대화하지만, 그래디언트 지연이라는 대가를 치른다. 비동기 스케줄 중에서 PipeDream-2BW는 특히 매력적이다: 원래 PipeDream 스케줄과 달리 파이프라인 깊이와 무관하게 일정한 한 단계 그래디언트 지연을 보장한다. 그러나 지연 하에서의 최적화가 근본적으로 불안정하다는 일반적인 믿음으로 인해 그 채택은 여전히 제한적이다. 본 연구에서는 이러한 가정에 도전하며, 한 단계 지연 하에서의 성능 저하가 본질적인 한계라기보다는 옵티마이저 선택에 크게 의존함을 보인다. 우리는 PipeDream-2BW가 도입될 당시 주류 옵티마이저였던 AdamW가 실제로 심각한 성능 저하를 겪는 반면, 최근 방법인 Muon은 한 단계 지연 하에서 강력한 견고성을 보인다는 최초의 포괄적인 실증 분석을 제공한다. 또한 지연 효과를 더욱 완화하기 위해 옵티마이저에 구애받지 않는 오류 피드백에서 영감을 받은 보정 기법을 도입한다. 보정이 있거나 없는 Muon의 수렴을 입증하는 이론적 분석을 함께 제시한다. 최대 100억 개 파라미터에 이르는 모델에 대한 광범위한 평가는 우리의 전략이 동기식 학습과의 성능 격차를 해소함을 확인하며, 대규모 비동기 파이프라인 병렬 처리의 실용적 잠재력을 강조한다.

English

Modern large-scale LLM pretraining benefits from utilizing Pipeline Parallelism; however, synchronous implementations leave GPUs idle during pipeline bubbles, wasting computational resources. Asynchronous Pipeline Parallelism eliminates these bubbles, maximizing throughput at the cost of gradient staleness. Among asynchronous schedules, PipeDream-2BW is particularly appealing: unlike the original PipeDream schedule, it ensures a constant one-step gradient delay regardless of pipeline depth. However, its adoption remains limited due to the common belief that optimizing under staleness is fundamentally unstable. In this work, we challenge this assumption, demonstrating that degradation under one-step delay depends strongly on optimizer choice rather than being an intrinsic limitation. We provide the first comprehensive empirical analysis showing that while AdamW, the predominant optimizer at the time when PipeDream-2BW was introduced, indeed suffers from severe degradation, recent methods like Muon exhibit strong robustness under a one-step delay. We introduce an optimizer-agnostic Error Feedback-inspired correction to further mitigate delay effects. We provide supporting theoretical analysis demonstrating convergence for Muon with and without this correction. Extensive evaluation on models up to 10B parameters confirms that our strategies bridge the performance gap with synchronous training, highlighting the practical potential of asynchronous pipeline parallelism at scale.