Потоковая модель распределенного обучения с перекрывающимися коммуникациями: к новому подходу к бесплатному ланчу.

Streaming DiLoCo with overlapping communication: Towards a Distributed Free Lunch

January 30, 2025

Авторы: Arthur Douillard, Yanislav Donchev, Keith Rush, Satyen Kale, Zachary Charles, Zachary Garrett, Gabriel Teston, Dave Lacey, Ross McIlroy, Jiajun Shen, Alexandre Ramé, Arthur Szlam, Marc'Aurelio Ranzato, Paul Barham

cs.AI

Аннотация

Обучение больших языковых моделей (LLM) обычно распределяется по большому количеству ускорителей для сокращения времени обучения. Поскольку внутренние состояния и градиенты параметров должны обмениваться на каждом шаге градиента, все устройства должны быть соседними с использованием каналов связи с низкой задержкой и высокой пропускной способностью для поддержки необходимого объема обмениваемых битов. Недавно распределенные алгоритмы, такие как DiLoCo, смягчили такое требование соседства: ускорители могут быть сгруппированы в «рабочие», где синхронизация между рабочими происходит редко. Это, в свою очередь, означает, что рабочие могут использовать более низкопропускные каналы связи без ущерба для качества обучения. Однако в этих методах обмен данными между рабочими по-прежнему требует той же пиковой пропускной способности, поскольку синхронизации требуют обмена всеми параметрами между всеми рабочими. В данной статье мы улучшаем DiLoCo тремя способами. Во-первых, мы синхронизируем только подмножества параметров последовательно, а не все сразу, что значительно снижает пиковую пропускную способность. Во-вторых, мы позволяем рабочим продолжать обучение во время синхронизации, что сокращает время настенных часов. В-третьих, мы квантуем данные, обмениваемые между рабочими, что дополнительно снижает пропускную способность между рабочими. Путем правильного комбинирования этих модификаций мы экспериментально показываем, что можем распределить обучение миллиардных параметров и достичь аналогичного качества, но с сокращением требуемой пропускной способности на два порядка.

English

Training of large language models (LLMs) is typically distributed across a large number of accelerators to reduce training time. Since internal states and parameter gradients need to be exchanged at each and every single gradient step, all devices need to be co-located using low-latency high-bandwidth communication links to support the required high volume of exchanged bits. Recently, distributed algorithms like DiLoCo have relaxed such co-location constraint: accelerators can be grouped into ``workers'', where synchronizations between workers only occur infrequently. This in turn means that workers can afford being connected by lower bandwidth communication links without affecting learning quality. However, in these methods, communication across workers still requires the same peak bandwidth as before, as the synchronizations require all parameters to be exchanged across all workers. In this paper, we improve DiLoCo in three ways. First, we synchronize only subsets of parameters in sequence, rather than all at once, which greatly reduces peak bandwidth. Second, we allow workers to continue training while synchronizing, which decreases wall clock time. Third, we quantize the data exchanged by workers, which further reduces bandwidth across workers. By properly combining these modifications, we show experimentally that we can distribute training of billion-scale parameters and reach similar quality as before, but reducing required bandwidth by two orders of magnitude.