DiLoCoにおける通信と計算のオーバーラップのための積極的な更新

Eager Updates For Overlapped Communication and Computation in DiLoCo

February 18, 2025

著者: Satyen Kale, Arthur Douillard, Yanislav Donchev

cs.AI

要旨

DiLoCoのような分散最適化手法は、データセンターなどの複数の分散ワーカー間で非常に大規模なモデルを訓練する際に有効であることが示されています。これらの手法では、更新を2つの部分に分割します。1つは内部最適化フェーズで、ワーカーが各自のローカルデータに対して複数の最適化ステップを独立して実行します。もう1つは外部最適化ステップで、内部更新が同期されます。このようなアプローチは、標準的なデータ並列訓練よりも桁違いに少ない通信量で済みますが、ワーカーがデータセンターであるような設定では、これらのアプローチの限られた通信要件であっても、各外部最適化ステップで必要なブロッキングが大きな遅延を引き起こす可能性があります。本論文では、通信と計算を重ね合わせることで、外部最適化ステップを内部最適化フェーズと完全に重ね合わせることを可能にする技術を調査します。特に、eager updatesと呼ばれる特定のバリアントが、ワーカー間の帯域幅が低い設定においても、標準的なDiLoCoと同等の性能を発揮することを示します。

English

Distributed optimization methods such as DiLoCo have been shown to be effective in training very large models across multiple distributed workers, such as datacenters. These methods split updates into two parts: an inner optimization phase, where the workers independently execute multiple optimization steps on their own local data, and an outer optimization step, where the inner updates are synchronized. While such approaches require orders of magnitude less communication than standard data-parallel training, in settings where the workers are datacenters, even the limited communication requirements of these approaches can still cause significant slow downs due to the blocking necessary at each outer optimization step. In this paper, we investigate techniques to mitigate this issue by overlapping communication with computation in a manner that allows the outer optimization step to fully overlap with the inner optimization phase. We show that a particular variant, dubbed eager updates, provides competitive performance with standard DiLoCo in settings with low bandwidth between workers.