NoLoCo: Método de Treinamento de Baixa Comunicação Sem All-Reduce para Modelos Grandes

NoLoCo: No-all-reduce Low Communication Training Method for Large Models

June 12, 2025

Autores: Jari Kolehmainen, Nikolay Blagoev, John Donaghy, Oğuzhan Ersoy, Christopher Nies

cs.AI

Resumo

O treinamento de grandes modelos de linguagem geralmente é realizado por meio de métodos de otimização em clusters contendo dezenas de milhares de aceleradores, que se comunicam por meio de uma interconexão de alta largura de banda. Escalar esses clusters é caro e pode se tornar impraticável, impondo limites ao tamanho dos modelos que podem ser treinados. Vários estudos recentes propuseram métodos de treinamento que são menos intensivos em comunicação, evitando a necessidade de um cluster de computação altamente conectado. Esses métodos de treinamento de baixa comunicação, que estão no estado da arte, ainda empregam uma etapa de sincronização para os parâmetros do modelo, que, quando realizada em todas as réplicas do modelo, pode se tornar custosa em uma rede de baixa largura de banda. Neste trabalho, propomos um novo método de otimização, o NoLoCo, que não sincroniza explicitamente todos os parâmetros do modelo durante o treinamento e, como resultado, não requer nenhuma comunicação coletiva. O NoLoCo sincroniza implicitamente os pesos do modelo por meio de uma nova variante do otimizador de momentum de Nesterov, realizando uma média parcial dos pesos do modelo com outro selecionado aleatoriamente. Fornecemos tanto uma análise teórica de convergência para o otimizador proposto quanto resultados empíricos do treinamento de modelos de linguagem. Avaliamos o NoLoCo em uma ampla gama de contagens de aceleradores e tamanhos de modelos, entre 125 milhões e 6,8 bilhões de parâmetros. Nosso método requer significativamente menos sobrecarga de comunicação do que o treinamento paralelo de dados totalmente fragmentado ou até mesmo o método de treinamento de baixa comunicação amplamente utilizado, o DiLoCo. A etapa de sincronização em si é estimada como uma ordem de magnitude mais rápida do que o all-reduce usado no DiLoCo para o treinamento de algumas centenas de aceleradores pela internet. Também não temos nenhuma comunicação global de bloqueio que reduza o tempo de inatividade dos aceleradores. Em comparação com o DiLoCo, também observamos uma taxa de convergência até 4% mais rápida em uma ampla gama de tamanhos de modelos e contagens de aceleradores.

English

Training large language models is generally done via optimization methods on clusters containing tens of thousands of accelerators, communicating over a high-bandwidth interconnect. Scaling up these clusters is expensive and can become impractical, imposing limits on the size of models that can be trained. Several recent studies have proposed training methods that are less communication intensive, avoiding the need for a highly connected compute cluster. These state-of-the-art low communication training methods still employ a synchronization step for model parameters, which, when performed over all model replicas, can become costly on a low-bandwidth network. In this work, we propose a novel optimization method, NoLoCo, that does not explicitly synchronize all model parameters during training and, as a result, does not require any collective communication. NoLoCo implicitly synchronizes model weights via a novel variant of the Nesterov momentum optimizer by partially averaging model weights with a randomly selected other one. We provide both a theoretical convergence analysis for our proposed optimizer as well as empirical results from language model training. We benchmark NoLoCo on a wide range of accelerator counts and model sizes, between 125M to 6.8B parameters. Our method requires significantly less communication overhead than fully sharded data parallel training or even widely used low communication training method, DiLoCo. The synchronization step itself is estimated to be one magnitude faster than the all-reduce used in DiLoCo for few hundred accelerators training over the internet. We also do not have any global blocking communication that reduces accelerator idling time. Compared to DiLoCo, we also observe up to 4% faster convergence rate with wide range of model sizes and accelerator counts.