NoLoCo: Metodo di Addestramento a Bassa Comunicazione Senza All-Reduce per Modelli di Grandi Dimensioni

NoLoCo: No-all-reduce Low Communication Training Method for Large Models

June 12, 2025

Autori: Jari Kolehmainen, Nikolay Blagoev, John Donaghy, Oğuzhan Ersoy, Christopher Nies

cs.AI

Abstract

L'addestramento di grandi modelli linguistici viene generalmente effettuato tramite metodi di ottimizzazione su cluster contenenti decine di migliaia di acceleratori, che comunicano attraverso un'interconnessione ad alta larghezza di banda. Scalare questi cluster è costoso e può diventare impraticabile, imponendo limiti sulla dimensione dei modelli che possono essere addestrati. Diversi studi recenti hanno proposto metodi di addestramento meno intensivi dal punto di vista della comunicazione, evitando la necessità di un cluster di calcolo altamente connesso. Questi metodi di addestramento a bassa comunicazione all'avanguardia impiegano comunque un passaggio di sincronizzazione per i parametri del modello, che, quando eseguito su tutte le repliche del modello, può diventare costoso su una rete a bassa larghezza di banda. In questo lavoro, proponiamo un nuovo metodo di ottimizzazione, NoLoCo, che non sincronizza esplicitamente tutti i parametri del modello durante l'addestramento e, di conseguenza, non richiede alcuna comunicazione collettiva. NoLoCo sincronizza implicitamente i pesi del modello tramite una nuova variante dell'ottimizzatore a momento di Nesterov, parzialmente mediando i pesi del modello con un altro selezionato casualmente. Forniamo sia un'analisi teorica della convergenza per il nostro ottimizzatore proposto, sia risultati empirici derivanti dall'addestramento di modelli linguistici. Abbiamo valutato NoLoCo su un'ampia gamma di conteggi di acceleratori e dimensioni di modelli, tra 125M e 6.8B di parametri. Il nostro metodo richiede un sovraccarico di comunicazione significativamente inferiore rispetto all'addestramento parallelo completamente frammentato sui dati o persino al metodo di addestramento a bassa comunicazione ampiamente utilizzato, DiLoCo. Il passaggio di sincronizzazione stesso è stimato essere di un ordine di grandezza più veloce rispetto all'operazione all-reduce utilizzata in DiLoCo per l'addestramento su poche centinaia di acceleratori su internet. Inoltre, non abbiamo alcuna comunicazione globale bloccante che riduca il tempo di inattività degli acceleratori. Rispetto a DiLoCo, osserviamo anche un tasso di convergenza fino al 4% più veloce con un'ampia gamma di dimensioni di modelli e conteggi di acceleratori.

English

Training large language models is generally done via optimization methods on clusters containing tens of thousands of accelerators, communicating over a high-bandwidth interconnect. Scaling up these clusters is expensive and can become impractical, imposing limits on the size of models that can be trained. Several recent studies have proposed training methods that are less communication intensive, avoiding the need for a highly connected compute cluster. These state-of-the-art low communication training methods still employ a synchronization step for model parameters, which, when performed over all model replicas, can become costly on a low-bandwidth network. In this work, we propose a novel optimization method, NoLoCo, that does not explicitly synchronize all model parameters during training and, as a result, does not require any collective communication. NoLoCo implicitly synchronizes model weights via a novel variant of the Nesterov momentum optimizer by partially averaging model weights with a randomly selected other one. We provide both a theoretical convergence analysis for our proposed optimizer as well as empirical results from language model training. We benchmark NoLoCo on a wide range of accelerator counts and model sizes, between 125M to 6.8B parameters. Our method requires significantly less communication overhead than fully sharded data parallel training or even widely used low communication training method, DiLoCo. The synchronization step itself is estimated to be one magnitude faster than the all-reduce used in DiLoCo for few hundred accelerators training over the internet. We also do not have any global blocking communication that reduces accelerator idling time. Compared to DiLoCo, we also observe up to 4% faster convergence rate with wide range of model sizes and accelerator counts.