Atualizações Ágeis para Comunicação e Computação Sobrepostas no DiLoCo

Eager Updates For Overlapped Communication and Computation in DiLoCo

February 18, 2025

Autores: Satyen Kale, Arthur Douillard, Yanislav Donchev

cs.AI

Resumo

Métodos de otimização distribuída, como o DiLoCo, demonstraram ser eficazes no treinamento de modelos muito grandes em múltiplos trabalhadores distribuídos, como datacenters. Esses métodos dividem as atualizações em duas partes: uma fase de otimização interna, na qual os trabalhadores executam de forma independente múltiplos passos de otimização em seus próprios dados locais, e um passo de otimização externa, no qual as atualizações internas são sincronizadas. Embora essas abordagens exijam ordens de magnitude menos comunicação do que o treinamento paralelo de dados padrão, em cenários onde os trabalhadores são datacenters, mesmo os requisitos limitados de comunicação dessas abordagens ainda podem causar atrasos significativos devido ao bloqueio necessário em cada passo de otimização externa. Neste artigo, investigamos técnicas para mitigar esse problema sobrepondo a comunicação com a computação de uma maneira que permite que o passo de otimização externa se sobreponha completamente à fase de otimização interna. Mostramos que uma variante específica, denominada atualizações ávidas, oferece desempenho competitivo com o DiLoCo padrão em cenários com baixa largura de banda entre os trabalhadores.

English

Distributed optimization methods such as DiLoCo have been shown to be effective in training very large models across multiple distributed workers, such as datacenters. These methods split updates into two parts: an inner optimization phase, where the workers independently execute multiple optimization steps on their own local data, and an outer optimization step, where the inner updates are synchronized. While such approaches require orders of magnitude less communication than standard data-parallel training, in settings where the workers are datacenters, even the limited communication requirements of these approaches can still cause significant slow downs due to the blocking necessary at each outer optimization step. In this paper, we investigate techniques to mitigate this issue by overlapping communication with computation in a manner that allows the outer optimization step to fully overlap with the inner optimization phase. We show that a particular variant, dubbed eager updates, provides competitive performance with standard DiLoCo in settings with low bandwidth between workers.