Mises à jour immédiates pour la communication et le calcul superposés dans DiLoCo

Eager Updates For Overlapped Communication and Computation in DiLoCo

February 18, 2025

Auteurs: Satyen Kale, Arthur Douillard, Yanislav Donchev

cs.AI

Résumé

Les méthodes d'optimisation distribuée telles que DiLoCo se sont avérées efficaces pour entraîner des modèles de très grande taille sur plusieurs nœuds de calcul distribués, tels que des datacenters. Ces méthodes divisent les mises à jour en deux parties : une phase d'optimisation interne, où les nœuds exécutent de manière indépendante plusieurs étapes d'optimisation sur leurs données locales, et une étape d'optimisation externe, où les mises à jour internes sont synchronisées. Bien que ces approches nécessitent des ordres de grandeur moins de communication que l'entraînement parallèle standard basé sur les données, dans des configurations où les nœuds sont des datacenters, même les exigences de communication limitées de ces approches peuvent encore entraîner des ralentissements significatifs en raison du blocage nécessaire à chaque étape d'optimisation externe. Dans cet article, nous explorons des techniques pour atténuer ce problème en chevauchant la communication avec le calcul de manière à permettre à l'étape d'optimisation externe de se superposer entièrement à la phase d'optimisation interne. Nous montrons qu'une variante particulière, appelée mises à jour anticipées, offre des performances compétitives par rapport à DiLoCo standard dans des configurations où la bande passante entre les nœuds est faible.

English

Distributed optimization methods such as DiLoCo have been shown to be effective in training very large models across multiple distributed workers, such as datacenters. These methods split updates into two parts: an inner optimization phase, where the workers independently execute multiple optimization steps on their own local data, and an outer optimization step, where the inner updates are synchronized. While such approaches require orders of magnitude less communication than standard data-parallel training, in settings where the workers are datacenters, even the limited communication requirements of these approaches can still cause significant slow downs due to the blocking necessary at each outer optimization step. In this paper, we investigate techniques to mitigate this issue by overlapping communication with computation in a manner that allows the outer optimization step to fully overlap with the inner optimization phase. We show that a particular variant, dubbed eager updates, provides competitive performance with standard DiLoCo in settings with low bandwidth between workers.