Разрыв пузыря: асинхронное конвейерное параллельное обучение с ограниченной несогласованностью весов

Аннотация

Конвейерный параллелизм необходим для обучения больших нейронных сетей, однако существующие схемы требуют компромисса между пропускной способностью, памятью и согласованностью оптимизации. Синхронные конвейеры сохраняют согласованность весов между прямым и обратным проходами, но страдают от пузырей; асинхронные конвейеры устраняют пузыри, но вводят несоответствие версий весов, что обычно требует механизмов кэширования весов, предсказания или коррекции. Мы представляем PACI (Асинхронное обучение конвейера с контролируемой несогласованностью) — метод асинхронного конвейера без пузырей, который ограничивает дрейф версий между прямым и обратным проходами без кэширования весов, предсказания, дополнительных копий параметров или глобальной синхронизации. Ключевая идея заключается в использовании локального накопления градиентов в качестве механизма контроля версий: замедляя эволюцию версий параметров относительно задержки конвейера, PACI ограничивает количество обновлений оптимизатора, проходимых любым микробатчем, сохраняя при этом использование в установившемся режиме. При предобучении языковых моделей в стиле GPT PACI соответствует стабильности и конечной перплексии синхронного 1F1B-flush, сохраняет тот же пиковый объем памяти, достигает полного использования пропускной способности конвейера и улучшает время обучения до достижения точности до 1,69 раза по сравнению с самым быстрым базовым методом сброса. Эти результаты показывают, что несогласованность между прямым и обратным проходами не обязательно устранять: при явном ограничении ее можно безопасно обменять на значительный выигрыш в эффективности.

English

Pipeline parallelism is essential for training large neural networks, but existing schedules trade off throughput, memory, and optimization consistency. Synchronous pipelines preserve forward/backward weight consistency but suffer from bubbles; asynchronous pipelines remove bubbles but introduce weight-version mismatch, typically requiring weight stashing, prediction, or correction mechanisms. We introduce PACI (Pipeline Asynchronous training with Controlled Inconsistency), a bubble-free asynchronous pipeline method that bounds forward/backward version drift without weight stashing, prediction, additional parameter copies, or global synchronization. The key idea is to use local gradient accumulation as a version-control mechanism: by slowing parameter-version evolution relative to pipeline delay, PACI limits the number of optimizer updates crossed by any micro-batch while preserving steady-state utilization. In GPT-style language-model pretraining, PACI matches the stability and final perplexity of synchronous 1F1B-flush, retains the same peak memory footprint, achieves fully utilized pipeline throughput, and improves training time-to-accuracy by up to 1.69times over the fastest flush baseline. These results show that forward/backward inconsistency need not be eliminated: when explicitly bounded, it can be safely traded for substantial efficiency gains.