DiLoCoX: Ein Kommunikationsarmes Framework für das Training in großem Maßstab in dezentralen Clustern

DiLoCoX: A Low-Communication Large-Scale Training Framework for Decentralized Cluster

June 26, 2025

Autoren: Ji Qi, WenPeng Zhu, Li Li, Ming Wu, YingJun Wu, Wu He, Xun Gao, Jason Zeng, Michael Heinrich

cs.AI

Zusammenfassung

Das verteilte Training von Foundation-Modellen, insbesondere von großen Sprachmodellen (LLMs), erfordert ein hohes Maß an Kommunikation. Folglich ist es stark von einem zentralisierten Cluster mit schnellen und zuverlässigen Verbindungen abhängig. Können wir das Training auf langsamen Netzwerken durchführen und dadurch die Leistung dezentraler Cluster nutzen, wenn es um Modelle mit über 100 Milliarden Parametern geht? In diesem Artikel stellen wir DiLoCoX vor, ein Framework für das groß angelegte, dezentrale Clustertraining mit geringer Kommunikation. Es kombiniert Pipeline-Parallelismus mit einer Dual-Optimizer-Policy, der Ein-Schritt-Verzögerungs-Überlappung von Kommunikation und lokalem Training sowie einem adaptiven Gradientenkompressionsschema. Diese Kombination verbessert signifikant die Skalierbarkeit der Parameter und die Geschwindigkeit des Modell-Pre-Trainings. Wir begründen die Vorteile der Ein-Schritt-Verzögerungs-Überlappung von Kommunikation und lokalem Training sowie des adaptiven Gradientenkompressionsschemas durch eine theoretische Konvergenzanalyse. Empirisch zeigen wir, dass DiLoCoX in der Lage ist, ein 107B-Foundation-Modell über ein 1Gbps-Netzwerk zu pre-trainieren. Im Vergleich zu herkömmlichem AllReduce kann DiLoCoX eine 357-fache Beschleunigung des verteilten Trainings erreichen, während die Modellkonvergenz nur minimal beeinträchtigt wird. Nach unserem Wissen ist dies das erste dezentrale Trainingsframework, das erfolgreich auf Modelle mit über 100 Milliarden Parametern angewendet wurde.

English

The distributed training of foundation models, particularly large language models (LLMs), demands a high level of communication. Consequently, it is highly dependent on a centralized cluster with fast and reliable interconnects. Can we conduct training on slow networks and thereby unleash the power of decentralized clusters when dealing with models exceeding 100 billion parameters? In this paper, we propose DiLoCoX, a low-communication large-scale decentralized cluster training framework. It combines Pipeline Parallelism with Dual Optimizer Policy, One-Step-Delay Overlap of Communication and Local Training, and an Adaptive Gradient Compression Scheme. This combination significantly improves the scale of parameters and the speed of model pre-training. We justify the benefits of one-step-delay overlap of communication and local training, as well as the adaptive gradient compression scheme, through a theoretical analysis of convergence. Empirically, we demonstrate that DiLoCoX is capable of pre-training a 107B foundation model over a 1Gbps network. Compared to vanilla AllReduce, DiLoCoX can achieve a 357x speedup in distributed training while maintaining negligible degradation in model convergence. To the best of our knowledge, this is the first decentralized training framework successfully applied to models with over 100 billion parameters.