Communicatie-efficiënte training van taalmodel schaalt betrouwbaar en robuust: Schaalwetten voor DiLoCo

Communication-Efficient Language Model Training Scales Reliably and Robustly: Scaling Laws for DiLoCo

March 12, 2025

Auteurs: Zachary Charles, Gabriel Teston, Lucio Dery, Keith Rush, Nova Fallen, Zachary Garrett, Arthur Szlam, Arthur Douillard

cs.AI

Samenvatting

Naarmate we opschalen naar grotere machine learning-modellen, veroorzaken de frequente synchronisatie-eisen die inherent zijn aan data-parallelle benaderingen aanzienlijke vertragingen, wat een kritieke uitdaging vormt voor verdere schaalvergroting. Recent werk ontwikkelt een aanpak (DiLoCo) die de synchronisatie-eisen versoepelt zonder in te leveren op modelkwaliteit. Deze studies analyseren echter niet zorgvuldig hoe het gedrag van DiLoCo verandert met de modelgrootte. In dit werk bestuderen we het schaalgedrag van DiLoCo bij het trainen van LLM's onder een vast rekenbudget. We richten ons op hoe algoritmische factoren, waaronder het aantal modelreplica's, hyperparameters en het tokenbudget, de training beïnvloeden op manieren die nauwkeurig kunnen worden voorspeld via schaalwetten. We ontdekken dat DiLoCo zowel voorspelbaar als robuust schaalt met de modelgrootte. Wanneer goed afgesteld, schaalt DiLoCo beter dan data-parallelle training met de modelgrootte, en kan het zelfs bij kleine modelgroottes data-parallelle training overtreffen. Onze resultaten tonen een breder scala aan voordelen van DiLoCo dan eerder gedocumenteerd, waaronder grotere optimale batchgroottes, verbeterde downstream-generalizatie met schaal, en verbeterde evaluatiewinst voor een vast tokenbudget.

English

As we scale to more massive machine learning models, the frequent synchronization demands inherent in data-parallel approaches create significant slowdowns, posing a critical challenge to further scaling. Recent work develops an approach (DiLoCo) that relaxes synchronization demands without compromising model quality. However, these works do not carefully analyze how DiLoCo's behavior changes with model size. In this work, we study the scaling law behavior of DiLoCo when training LLMs under a fixed compute budget. We focus on how algorithmic factors, including number of model replicas, hyperparameters, and token budget affect training in ways that can be accurately predicted via scaling laws. We find that DiLoCo scales both predictably and robustly with model size. When well-tuned, DiLoCo scales better than data-parallel training with model size, and can outperform data-parallel training even at small model sizes. Our results showcase a more general set of benefits of DiLoCo than previously documented, including increased optimal batch sizes, improved downstream generalization with scale, and improved evaluation loss for a fixed token budget.