NoLoCo: No-all-reduce Low Communication Trainingsmethode für große Modelle

NoLoCo: No-all-reduce Low Communication Training Method for Large Models

June 12, 2025

Autoren: Jari Kolehmainen, Nikolay Blagoev, John Donaghy, Oğuzhan Ersoy, Christopher Nies

cs.AI

Zusammenfassung

Das Training großer Sprachmodelle erfolgt in der Regel über Optimierungsmethoden auf Clustern, die Zehntausende von Beschleunigern enthalten und über eine Hochbandbreitenverbindung kommunizieren. Die Skalierung dieser Cluster ist kostspielig und kann unpraktisch werden, wodurch Grenzen für die Größe der trainierbaren Modelle gesetzt werden. Mehrere aktuelle Studien haben Trainingsmethoden vorgeschlagen, die weniger kommunikationsintensiv sind und somit den Bedarf an einem hochvernetzten Rechencluster vermeiden. Diese modernen Methoden mit geringer Kommunikation verwenden jedoch weiterhin einen Synchronisationsschritt für Modellparameter, der, wenn er über alle Modellreplikate hinweg durchgeführt wird, in einem Netzwerk mit geringer Bandbreite kostspielig werden kann. In dieser Arbeit schlagen wir eine neuartige Optimierungsmethode, NoLoCo, vor, die nicht explizit alle Modellparameter während des Trainings synchronisiert und somit keine kollektive Kommunikation erfordert. NoLoCo synchronisiert Modellgewichte implizit über eine neuartige Variante des Nesterov-Momentum-Optimierers, indem es Modellgewichte teilweise mit einem zufällig ausgewählten anderen mittelt. Wir liefern sowohl eine theoretische Konvergenzanalyse für unseren vorgeschlagenen Optimierer als auch empirische Ergebnisse aus dem Training von Sprachmodellen. Wir benchmarken NoLoCo über eine breite Palette von Beschleunigeranzahlen und Modellgrößen, zwischen 125M und 6,8B Parametern. Unsere Methode erfordert deutlich weniger Kommunikationsaufwand als vollständig fragmentiertes datenparalleles Training oder sogar die weit verbreitete Methode mit geringer Kommunikation, DiLoCo. Der Synchronisationsschritt selbst wird auf eine Größenordnung schneller geschätzt als der All-Reduce, der in DiLoCo für einige hundert Beschleuniger, die über das Internet trainieren, verwendet wird. Wir haben auch keine globale blockierende Kommunikation, die die Leerlaufzeit der Beschleuniger reduziert. Im Vergleich zu DiLoCo beobachten wir auch eine bis zu 4 % schnellere Konvergenzrate bei einer breiten Palette von Modellgrößen und Beschleunigeranzahlen.

English

Training large language models is generally done via optimization methods on clusters containing tens of thousands of accelerators, communicating over a high-bandwidth interconnect. Scaling up these clusters is expensive and can become impractical, imposing limits on the size of models that can be trained. Several recent studies have proposed training methods that are less communication intensive, avoiding the need for a highly connected compute cluster. These state-of-the-art low communication training methods still employ a synchronization step for model parameters, which, when performed over all model replicas, can become costly on a low-bandwidth network. In this work, we propose a novel optimization method, NoLoCo, that does not explicitly synchronize all model parameters during training and, as a result, does not require any collective communication. NoLoCo implicitly synchronizes model weights via a novel variant of the Nesterov momentum optimizer by partially averaging model weights with a randomly selected other one. We provide both a theoretical convergence analysis for our proposed optimizer as well as empirical results from language model training. We benchmark NoLoCo on a wide range of accelerator counts and model sizes, between 125M to 6.8B parameters. Our method requires significantly less communication overhead than fully sharded data parallel training or even widely used low communication training method, DiLoCo. The synchronization step itself is estimated to be one magnitude faster than the all-reduce used in DiLoCo for few hundred accelerators training over the internet. We also do not have any global blocking communication that reduces accelerator idling time. Compared to DiLoCo, we also observe up to 4% faster convergence rate with wide range of model sizes and accelerator counts.