Оперативные обновления для совмещения коммуникации и вычислений в DiLoCo

Eager Updates For Overlapped Communication and Computation in DiLoCo

February 18, 2025

Авторы: Satyen Kale, Arthur Douillard, Yanislav Donchev

cs.AI

Аннотация

Распределенные методы оптимизации, такие как DiLoCo, доказали свою эффективность в обучении очень больших моделей на множестве распределенных вычислительных узлов, таких как дата-центры. Эти методы разделяют обновления на две части: внутреннюю фазу оптимизации, в которой узлы независимо выполняют несколько шагов оптимизации на своих локальных данных, и внешний шаг оптимизации, на котором внутренние обновления синхронизируются. Хотя такие подходы требуют на порядки меньше коммуникации по сравнению с традиционным параллельным обучением с разделением данных, в условиях, когда узлами являются дата-центры, даже ограниченные требования к коммуникации в этих подходах могут вызывать значительные задержки из-за необходимости блокировки на каждом внешнем шаге оптимизации. В данной статье мы исследуем методы для смягчения этой проблемы путем совмещения коммуникации с вычислениями таким образом, чтобы внешний шаг оптимизации полностью перекрывался с внутренней фазой оптимизации. Мы показываем, что определенный вариант, названный "жадными обновлениями", обеспечивает конкурентоспособную производительность по сравнению со стандартным DiLoCo в условиях низкой пропускной способности между узлами.

English

Distributed optimization methods such as DiLoCo have been shown to be effective in training very large models across multiple distributed workers, such as datacenters. These methods split updates into two parts: an inner optimization phase, where the workers independently execute multiple optimization steps on their own local data, and an outer optimization step, where the inner updates are synchronized. While such approaches require orders of magnitude less communication than standard data-parallel training, in settings where the workers are datacenters, even the limited communication requirements of these approaches can still cause significant slow downs due to the blocking necessary at each outer optimization step. In this paper, we investigate techniques to mitigate this issue by overlapping communication with computation in a manner that allows the outer optimization step to fully overlap with the inner optimization phase. We show that a particular variant, dubbed eager updates, provides competitive performance with standard DiLoCo in settings with low bandwidth between workers.