重複する通信を伴うストリーミングDiLoCo：分散フリーランチに向けて

Streaming DiLoCo with overlapping communication: Towards a Distributed Free Lunch

January 30, 2025

著者: Arthur Douillard, Yanislav Donchev, Keith Rush, Satyen Kale, Zachary Charles, Zachary Garrett, Gabriel Teston, Dave Lacey, Ross McIlroy, Jiajun Shen, Alexandre Ramé, Arthur Szlam, Marc'Aurelio Ranzato, Paul Barham

cs.AI

要旨

大規模言語モデル（LLM）のトレーニングは通常、トレーニング時間を短縮するために多数のアクセラレータに分散されます。内部状態とパラメータ勾配は各勾配ステップで交換する必要があるため、すべてのデバイスは必要な高いビット交換量をサポートするために低遅延高帯域通信リンクを使用して同じ場所に配置する必要があります。最近のDiLoCoなどの分散アルゴリズムは、このような同じ場所にいる必要性を緩和しています。アクセラレータは「ワーカー」にグループ化され、ワーカー間の同期はまれにしか発生しません。これにより、ワーカーは学習品質に影響を与えることなく、より低帯域幅の通信リンクで接続されていても問題ありません。ただし、これらの方法では、ワーカー間の通信には引き続き以前と同じピーク帯域幅が必要であり、同期によりすべてのパラメータがすべてのワーカー間で交換される必要があります。本論文では、DiLoCoを3つの方法で改善します。まず、すべてを一度にではなく、パラメータのサブセットのみを順次同期させることで、ピーク帯域幅を大幅に削減します。第二に、同期中もワーカーがトレーニングを継続できるようにし、ウォールクロック時間を短縮します。第三に、ワーカー間で交換されるデータを量子化し、ワーカー間の帯域幅をさらに削減します。これらの変更を適切に組み合わせることで、実験的に、数十億規模のパラメータのトレーニングを分散させ、以前と同様の品質に到達しつつ、必要な帯域幅を2桁削減できることを示します。

English

Training of large language models (LLMs) is typically distributed across a large number of accelerators to reduce training time. Since internal states and parameter gradients need to be exchanged at each and every single gradient step, all devices need to be co-located using low-latency high-bandwidth communication links to support the required high volume of exchanged bits. Recently, distributed algorithms like DiLoCo have relaxed such co-location constraint: accelerators can be grouped into ``workers'', where synchronizations between workers only occur infrequently. This in turn means that workers can afford being connected by lower bandwidth communication links without affecting learning quality. However, in these methods, communication across workers still requires the same peak bandwidth as before, as the synchronizations require all parameters to be exchanged across all workers. In this paper, we improve DiLoCo in three ways. First, we synchronize only subsets of parameters in sequence, rather than all at once, which greatly reduces peak bandwidth. Second, we allow workers to continue training while synchronizing, which decreases wall clock time. Third, we quantize the data exchanged by workers, which further reduces bandwidth across workers. By properly combining these modifications, we show experimentally that we can distribute training of billion-scale parameters and reach similar quality as before, but reducing required bandwidth by two orders of magnitude.