Eager-Updates für überlappende Kommunikation und Berechnung in DiLoCo

Eager Updates For Overlapped Communication and Computation in DiLoCo

February 18, 2025

Autoren: Satyen Kale, Arthur Douillard, Yanislav Donchev

cs.AI

Zusammenfassung

Verteilte Optimierungsmethoden wie DiLoCo haben sich als effektiv erwiesen, um sehr große Modelle über mehrere verteilte Worker, wie beispielsweise Rechenzentren, zu trainieren. Diese Methoden teilen die Aktualisierungen in zwei Teile auf: eine innere Optimierungsphase, in der die Worker unabhängig voneinander mehrere Optimierungsschritte auf ihren lokalen Daten ausführen, und einen äußeren Optimierungsschritt, bei dem die inneren Aktualisierungen synchronisiert werden. Während solche Ansätze um Größenordnungen weniger Kommunikation erfordern als das standardmäßige datenparallele Training, können selbst die begrenzten Kommunikationsanforderungen dieser Ansätze in Umgebungen, in denen die Worker Rechenzentren sind, erhebliche Verlangsamungen verursachen, da bei jedem äußeren Optimierungsschritt Blockierungen notwendig sind. In diesem Artikel untersuchen wir Techniken, um dieses Problem zu mildern, indem wir die Kommunikation mit der Berechnung so überlappen, dass der äußere Optimierungsschritt vollständig mit der inneren Optimierungsphase überlappt. Wir zeigen, dass eine bestimmte Variante, genannt „eager updates“, in Umgebungen mit geringer Bandbreite zwischen den Workern eine vergleichbare Leistung wie das standardmäßige DiLoCo bietet.

English

Distributed optimization methods such as DiLoCo have been shown to be effective in training very large models across multiple distributed workers, such as datacenters. These methods split updates into two parts: an inner optimization phase, where the workers independently execute multiple optimization steps on their own local data, and an outer optimization step, where the inner updates are synchronized. While such approaches require orders of magnitude less communication than standard data-parallel training, in settings where the workers are datacenters, even the limited communication requirements of these approaches can still cause significant slow downs due to the blocking necessary at each outer optimization step. In this paper, we investigate techniques to mitigate this issue by overlapping communication with computation in a manner that allows the outer optimization step to fully overlap with the inner optimization phase. We show that a particular variant, dubbed eager updates, provides competitive performance with standard DiLoCo in settings with low bandwidth between workers.