Эффективное с точки зрения коммуникаций обучение языковых моделей масштабируется надежно и устойчиво: законы масштабирования для DiLoCo

Communication-Efficient Language Model Training Scales Reliably and Robustly: Scaling Laws for DiLoCo

March 12, 2025

Авторы: Zachary Charles, Gabriel Teston, Lucio Dery, Keith Rush, Nova Fallen, Zachary Garrett, Arthur Szlam, Arthur Douillard

cs.AI

Аннотация

По мере масштабирования к более крупным моделям машинного обучения частые требования к синхронизации, присущие подходам с параллельной обработкой данных, создают значительные замедления, что представляет собой серьезное препятствие для дальнейшего масштабирования. В последних работах разработан подход (DiLoCo), который снижает требования к синхронизации без ущерба для качества модели. Однако в этих работах не проводится тщательный анализ того, как поведение DiLoCo изменяется с увеличением размера модели. В данной работе мы исследуем закономерности масштабирования DiLoCo при обучении крупных языковых моделей (LLM) с фиксированным бюджетом вычислений. Мы сосредоточимся на том, как алгоритмические факторы, включая количество реплик модели, гиперпараметры и бюджет токенов, влияют на обучение, что может быть точно предсказано с помощью законов масштабирования. Мы обнаруживаем, что DiLoCo масштабируется как предсказуемо, так и устойчиво с увеличением размера модели. При правильной настройке DiLoCo масштабируется лучше, чем обучение с параллельной обработкой данных, и может превосходить его даже для небольших моделей. Наши результаты демонстрируют более широкий набор преимуществ DiLoCo, чем было ранее задокументировано, включая увеличение оптимальных размеров батчей, улучшение обобщения на последующих этапах с увеличением масштаба и снижение потерь при оценке для фиксированного бюджета токенов.

English

As we scale to more massive machine learning models, the frequent synchronization demands inherent in data-parallel approaches create significant slowdowns, posing a critical challenge to further scaling. Recent work develops an approach (DiLoCo) that relaxes synchronization demands without compromising model quality. However, these works do not carefully analyze how DiLoCo's behavior changes with model size. In this work, we study the scaling law behavior of DiLoCo when training LLMs under a fixed compute budget. We focus on how algorithmic factors, including number of model replicas, hyperparameters, and token budget affect training in ways that can be accurately predicted via scaling laws. We find that DiLoCo scales both predictably and robustly with model size. When well-tuned, DiLoCo scales better than data-parallel training with model size, and can outperform data-parallel training even at small model sizes. Our results showcase a more general set of benefits of DiLoCo than previously documented, including increased optimal batch sizes, improved downstream generalization with scale, and improved evaluation loss for a fixed token budget.