Actualizaciones Ávidas para la Superposición de Comunicación y Cálculo en DiLoCo

Eager Updates For Overlapped Communication and Computation in DiLoCo

February 18, 2025

Autores: Satyen Kale, Arthur Douillard, Yanislav Donchev

cs.AI

Resumen

Los métodos de optimización distribuida como DiLoCo han demostrado ser efectivos para entrenar modelos muy grandes a través de múltiples trabajadores distribuidos, como centros de datos. Estos métodos dividen las actualizaciones en dos partes: una fase de optimización interna, donde los trabajadores ejecutan de manera independiente múltiples pasos de optimización sobre sus propios datos locales, y un paso de optimización externa, donde se sincronizan las actualizaciones internas. Si bien estos enfoques requieren órdenes de magnitud menos comunicación que el entrenamiento estándar en paralelo de datos, en entornos donde los trabajadores son centros de datos, incluso los requisitos de comunicación limitados de estos enfoques aún pueden causar ralentizaciones significativas debido al bloqueo necesario en cada paso de optimización externa. En este artículo, investigamos técnicas para mitigar este problema superponiendo la comunicación con el cálculo de manera que permita que el paso de optimización externa se superponga completamente con la fase de optimización interna. Demostramos que una variante particular, denominada actualizaciones ávidas, ofrece un rendimiento competitivo con DiLoCo estándar en entornos con ancho de banda reducido entre trabajadores.

English

Distributed optimization methods such as DiLoCo have been shown to be effective in training very large models across multiple distributed workers, such as datacenters. These methods split updates into two parts: an inner optimization phase, where the workers independently execute multiple optimization steps on their own local data, and an outer optimization step, where the inner updates are synchronized. While such approaches require orders of magnitude less communication than standard data-parallel training, in settings where the workers are datacenters, even the limited communication requirements of these approaches can still cause significant slow downs due to the blocking necessary at each outer optimization step. In this paper, we investigate techniques to mitigate this issue by overlapping communication with computation in a manner that allows the outer optimization step to fully overlap with the inner optimization phase. We show that a particular variant, dubbed eager updates, provides competitive performance with standard DiLoCo in settings with low bandwidth between workers.