DiLoCoX: Un marco de entrenamiento a gran escala con baja comunicación para clústeres descentralizados

DiLoCoX: A Low-Communication Large-Scale Training Framework for Decentralized Cluster

June 26, 2025

Autores: Ji Qi, WenPeng Zhu, Li Li, Ming Wu, YingJun Wu, Wu He, Xun Gao, Jason Zeng, Michael Heinrich

cs.AI

Resumen

El entrenamiento distribuido de modelos base, particularmente los modelos de lenguaje grandes (LLMs), requiere un alto nivel de comunicación. En consecuencia, depende en gran medida de un clúster centralizado con interconexiones rápidas y confiables. ¿Podemos llevar a cabo el entrenamiento en redes lentas y así liberar el poder de los clústeres descentralizados cuando trabajamos con modelos que superan los 100 mil millones de parámetros? En este artículo, proponemos DiLoCoX, un marco de entrenamiento descentralizado a gran escala con baja comunicación. Combina Paralelismo en Tuberías con una Política de Doble Optimizador, Superposición de un Paso de Retraso entre Comunicación y Entrenamiento Local, y un Esquema de Compresión Adaptativa de Gradientes. Esta combinación mejora significativamente la escala de parámetros y la velocidad de pre-entrenamiento del modelo. Justificamos los beneficios de la superposición de un paso de retraso entre comunicación y entrenamiento local, así como el esquema de compresión adaptativa de gradientes, mediante un análisis teórico de convergencia. Empíricamente, demostramos que DiLoCoX es capaz de pre-entrenar un modelo base de 107B en una red de 1Gbps. En comparación con AllReduce convencional, DiLoCoX puede lograr una aceleración de 357x en el entrenamiento distribuido mientras mantiene una degradación insignificante en la convergencia del modelo. Hasta donde sabemos, este es el primer marco de entrenamiento descentralizado aplicado con éxito a modelos con más de 100 mil millones de parámetros.

English

The distributed training of foundation models, particularly large language models (LLMs), demands a high level of communication. Consequently, it is highly dependent on a centralized cluster with fast and reliable interconnects. Can we conduct training on slow networks and thereby unleash the power of decentralized clusters when dealing with models exceeding 100 billion parameters? In this paper, we propose DiLoCoX, a low-communication large-scale decentralized cluster training framework. It combines Pipeline Parallelism with Dual Optimizer Policy, One-Step-Delay Overlap of Communication and Local Training, and an Adaptive Gradient Compression Scheme. This combination significantly improves the scale of parameters and the speed of model pre-training. We justify the benefits of one-step-delay overlap of communication and local training, as well as the adaptive gradient compression scheme, through a theoretical analysis of convergence. Empirically, we demonstrate that DiLoCoX is capable of pre-training a 107B foundation model over a 1Gbps network. Compared to vanilla AllReduce, DiLoCoX can achieve a 357x speedup in distributed training while maintaining negligible degradation in model convergence. To the best of our knowledge, this is the first decentralized training framework successfully applied to models with over 100 billion parameters.