Snelle updates voor overlappende communicatie en berekening in DiLoCo

Eager Updates For Overlapped Communication and Computation in DiLoCo

February 18, 2025

Auteurs: Satyen Kale, Arthur Douillard, Yanislav Donchev

cs.AI

Samenvatting

Gedistribueerde optimalisatiemethoden zoals DiLoCo zijn effectief gebleken bij het trainen van zeer grote modellen over meerdere gedistribueerde werkers, zoals datacenters. Deze methoden splitsen updates op in twee delen: een interne optimalisatiefase, waarin de werkers onafhankelijk meerdere optimalisatiestappen uitvoeren op hun eigen lokale data, en een externe optimalisatiestap, waarin de interne updates worden gesynchroniseerd. Hoewel dergelijke benaderingen aanzienlijk minder communicatie vereisen dan standaard data-parallelle training, kan zelfs de beperkte communicatiebehoefte van deze methoden in omgevingen waar de werkers datacenters zijn, aanzienlijke vertragingen veroorzaken vanwege de benodigde blokkering bij elke externe optimalisatiestap. In dit artikel onderzoeken we technieken om dit probleem te verlichten door communicatie en berekeningen te overlappen op een manier die ervoor zorgt dat de externe optimalisatiestap volledig overlapt met de interne optimalisatiefase. We tonen aan dat een specifieke variant, genaamd 'eager updates', competitieve prestaties biedt ten opzichte van standaard DiLoCo in omgevingen met een lage bandbreedte tussen werkers.

English

Distributed optimization methods such as DiLoCo have been shown to be effective in training very large models across multiple distributed workers, such as datacenters. These methods split updates into two parts: an inner optimization phase, where the workers independently execute multiple optimization steps on their own local data, and an outer optimization step, where the inner updates are synchronized. While such approaches require orders of magnitude less communication than standard data-parallel training, in settings where the workers are datacenters, even the limited communication requirements of these approaches can still cause significant slow downs due to the blocking necessary at each outer optimization step. In this paper, we investigate techniques to mitigate this issue by overlapping communication with computation in a manner that allows the outer optimization step to fully overlap with the inner optimization phase. We show that a particular variant, dubbed eager updates, provides competitive performance with standard DiLoCo in settings with low bandwidth between workers.