Addestramento Efficiente dei Modelli Linguistici che Scala in Modo Affidabile e Robusto: Leggi di Scalabilità per DiLoCo

Communication-Efficient Language Model Training Scales Reliably and Robustly: Scaling Laws for DiLoCo

March 12, 2025

Autori: Zachary Charles, Gabriel Teston, Lucio Dery, Keith Rush, Nova Fallen, Zachary Garrett, Arthur Szlam, Arthur Douillard

cs.AI

Abstract

Man mano che ci spingiamo verso modelli di machine learning sempre più massicci, le frequenti esigenze di sincronizzazione intrinseche negli approcci data-parallel creano significativi rallentamenti, rappresentando una sfida cruciale per un ulteriore scalabilità. Recenti lavori hanno sviluppato un approccio (DiLoCo) che riduce le esigenze di sincronizzazione senza compromettere la qualità del modello. Tuttavia, questi studi non analizzano attentamente come il comportamento di DiLoCo cambi con le dimensioni del modello. In questo lavoro, studiamo il comportamento delle leggi di scalabilità di DiLoCo durante l'addestramento di LLM con un budget computazionale fisso. Ci concentriamo su come fattori algoritmici, tra cui il numero di repliche del modello, gli iperparametri e il budget di token, influenzino l'addestramento in modi che possono essere accuratamente previsti attraverso le leggi di scalabilità. Scopriamo che DiLoCo scala in modo sia prevedibile che robusto con le dimensioni del modello. Quando ben ottimizzato, DiLoCo scala meglio dell'addestramento data-parallel con l'aumentare delle dimensioni del modello e può superare l'addestramento data-parallel anche con modelli di piccole dimensioni. I nostri risultati dimostrano un insieme di vantaggi di DiLoCo più ampio di quanto precedentemente documentato, tra cui dimensioni di batch ottimali maggiori, una migliore generalizzazione downstream con la scala e una riduzione della perdita di valutazione per un budget di token fisso.

English

As we scale to more massive machine learning models, the frequent synchronization demands inherent in data-parallel approaches create significant slowdowns, posing a critical challenge to further scaling. Recent work develops an approach (DiLoCo) that relaxes synchronization demands without compromising model quality. However, these works do not carefully analyze how DiLoCo's behavior changes with model size. In this work, we study the scaling law behavior of DiLoCo when training LLMs under a fixed compute budget. We focus on how algorithmic factors, including number of model replicas, hyperparameters, and token budget affect training in ways that can be accurately predicted via scaling laws. We find that DiLoCo scales both predictably and robustly with model size. When well-tuned, DiLoCo scales better than data-parallel training with model size, and can outperform data-parallel training even at small model sizes. Our results showcase a more general set of benefits of DiLoCo than previously documented, including increased optimal batch sizes, improved downstream generalization with scale, and improved evaluation loss for a fixed token budget.