NoLoCo: No-all-reduce Laag-communicatie Trainingsmethode voor Grote Modellen

NoLoCo: No-all-reduce Low Communication Training Method for Large Models

June 12, 2025

Auteurs: Jari Kolehmainen, Nikolay Blagoev, John Donaghy, Oğuzhan Ersoy, Christopher Nies

cs.AI

Samenvatting

Het trainen van grote taalmodellen gebeurt over het algemeen via optimalisatiemethoden op clusters die tienduizenden accelerators bevatten, die communiceren via een hoogbandbreedte-interconnect. Het opschalen van deze clusters is kostbaar en kan onpraktisch worden, waardoor er limieten worden opgelegd aan de grootte van modellen die getraind kunnen worden. Verschillende recente studies hebben trainingsmethoden voorgesteld die minder communicatie-intensief zijn, waardoor een sterk verbonden rekencluster niet nodig is. Deze state-of-the-art trainingsmethoden met weinig communicatie gebruiken nog steeds een synchronisatiestap voor modelparameters, die, wanneer deze wordt uitgevoerd over alle modelreplica's, kostbaar kan worden op een netwerk met lage bandbreedte. In dit werk stellen we een nieuwe optimalisatiemethode voor, NoLoCo, die niet expliciet alle modelparameters synchroniseert tijdens het trainen en als gevolg daarvan geen collectieve communicatie vereist. NoLoCo synchroniseert modelgewichten impliciet via een nieuwe variant van de Nesterov momentum-optimalisator door modelgewichten gedeeltelijk te middelen met een willekeurig geselecteerd ander gewicht. We bieden zowel een theoretische convergentieanalyse voor onze voorgestelde optimalisator als empirische resultaten van het trainen van taalmodellen. We testen NoLoCo op een breed scala aan aantallen accelerators en modelgroottes, tussen 125M en 6,8B parameters. Onze methode vereist aanzienlijk minder communicatie-overhead dan volledig gesharde data-parallelle training of zelfs de veelgebruikte trainingsmethode met weinig communicatie, DiLoCo. De synchronisatiestap zelf wordt geschat op een magnitude sneller te zijn dan de all-reduce die wordt gebruikt in DiLoCo voor enkele honderden accelerators die trainen via het internet. We hebben ook geen globale blokkerende communicatie die de inactiviteitstijd van accelerators vermindert. Vergeleken met DiLoCo observeren we ook tot 4% snellere convergentiesnelheid bij een breed scala aan modelgroottes en aantallen accelerators.

English

Training large language models is generally done via optimization methods on clusters containing tens of thousands of accelerators, communicating over a high-bandwidth interconnect. Scaling up these clusters is expensive and can become impractical, imposing limits on the size of models that can be trained. Several recent studies have proposed training methods that are less communication intensive, avoiding the need for a highly connected compute cluster. These state-of-the-art low communication training methods still employ a synchronization step for model parameters, which, when performed over all model replicas, can become costly on a low-bandwidth network. In this work, we propose a novel optimization method, NoLoCo, that does not explicitly synchronize all model parameters during training and, as a result, does not require any collective communication. NoLoCo implicitly synchronizes model weights via a novel variant of the Nesterov momentum optimizer by partially averaging model weights with a randomly selected other one. We provide both a theoretical convergence analysis for our proposed optimizer as well as empirical results from language model training. We benchmark NoLoCo on a wide range of accelerator counts and model sizes, between 125M to 6.8B parameters. Our method requires significantly less communication overhead than fully sharded data parallel training or even widely used low communication training method, DiLoCo. The synchronization step itself is estimated to be one magnitude faster than the all-reduce used in DiLoCo for few hundred accelerators training over the internet. We also do not have any global blocking communication that reduces accelerator idling time. Compared to DiLoCo, we also observe up to 4% faster convergence rate with wide range of model sizes and accelerator counts.