Aggiornamenti Eager per la Sovrapposizione di Comunicazione e Calcolo in DiLoCo

Eager Updates For Overlapped Communication and Computation in DiLoCo

February 18, 2025

Autori: Satyen Kale, Arthur Douillard, Yanislav Donchev

cs.AI

Abstract

I metodi di ottimizzazione distribuita come DiLoCo si sono dimostrati efficaci nell'addestramento di modelli molto grandi su più worker distribuiti, come i datacenter. Questi metodi suddividono gli aggiornamenti in due parti: una fase di ottimizzazione interna, in cui i worker eseguono in modo indipendente più passi di ottimizzazione sui propri dati locali, e un passo di ottimizzazione esterna, in cui gli aggiornamenti interni vengono sincronizzati. Sebbene questi approcci richiedano ordini di grandezza in meno di comunicazione rispetto all'addestramento parallelo standard sui dati, in contesti in cui i worker sono datacenter, anche i requisiti di comunicazione limitati di questi approcci possono comunque causare rallentamenti significativi a causa del blocco necessario ad ogni passo di ottimizzazione esterna. In questo articolo, indaghiamo tecniche per mitigare questo problema sovrapponendo la comunicazione con il calcolo in modo tale da permettere al passo di ottimizzazione esterna di sovrapporsi completamente alla fase di ottimizzazione interna. Dimostriamo che una variante specifica, denominata aggiornamenti eager, offre prestazioni competitive rispetto al DiLoCo standard in contesti con bassa larghezza di banda tra i worker.

English

Distributed optimization methods such as DiLoCo have been shown to be effective in training very large models across multiple distributed workers, such as datacenters. These methods split updates into two parts: an inner optimization phase, where the workers independently execute multiple optimization steps on their own local data, and an outer optimization step, where the inner updates are synchronized. While such approaches require orders of magnitude less communication than standard data-parallel training, in settings where the workers are datacenters, even the limited communication requirements of these approaches can still cause significant slow downs due to the blocking necessary at each outer optimization step. In this paper, we investigate techniques to mitigate this issue by overlapping communication with computation in a manner that allows the outer optimization step to fully overlap with the inner optimization phase. We show that a particular variant, dubbed eager updates, provides competitive performance with standard DiLoCo in settings with low bandwidth between workers.