Rien n'est perdu : Récupération des LLM sans points de contrôle

All is Not Lost: LLM Recovery without Checkpoints

June 18, 2025

Auteurs: Nikolay Blagoev, Oğuzhan Ersoy, Lydia Yiyu Chen

cs.AI

Résumé

L'entraînement de modèles de langage (LLMs) sur des nœuds de calcul décentralisés et peu puissants, par exemple, plusieurs instances locales, réduit les coûts d'entraînement et favorise la démocratisation des modèles. Le défi inévitable ici est la défaillance des nœuds due à des pannes ou aux politiques de planification de l'opérateur, entraînant la perte d'une étape - une partie du modèle. Les approches conventionnelles pour récupérer après des pannes consistent soit à utiliser des points de contrôle, où une copie complète du modèle est périodiquement envoyée à un stockage supplémentaire, soit à effectuer des calculs redondants. Ces approches entraînent des surcharges significatives en termes de communication et/ou de calcul, même en l'absence de pannes, et s'adaptent mal aux configurations avec des modèles de grande taille. Dans cet article, nous proposons CheckFree, une méthode de récupération efficace où une étape défaillante est remplacée par une moyenne pondérée des étapes voisines les plus proches. Contrairement à l'état de l'art, CheckFree ne nécessite aucun calcul ou stockage supplémentaire. Cependant, en raison de la nature de la moyenne des étapes voisines, elle ne peut récupérer que les pannes des étapes intermédiaires. Nous étendons ensuite notre méthode à CheckFree+ avec une exécution de pipeline désordonnée pour tolérer les crashes des premières et dernières étapes. Grâce au pipelining désordonné, le comportement de ces étapes est imité par leurs voisines, ce qui permet à CheckFree+ de les récupérer en copiant simplement les poids du voisin immédiat. Pour pouvoir récupérer les couches de (dé)embedding, CheckFree+ copie ces couches vers les étapes voisines, ce qui nécessite une surcharge de stockage relativement faible. Nous évaluons largement notre méthode sur des modèles LLaMa de tailles variant de 124M à 1,5B avec des fréquences de pannes variables. Dans le cas de taux de pannes faibles à moyens (5-10%), CheckFree et CheckFree+ surpassent à la fois les points de contrôle et les calculs redondants en termes de convergence en temps réel de plus de 12%. Nos deux propositions peuvent être exécutées via notre code disponible à l'adresse suivante : https://github.com/gensyn-ai/CheckFree.

English

Training LLMs on decentralized and wimpy computation nodes, e.g., multiple on-spot instances, lowers the training cost and enables model democratization. The inevitable challenge here is the churn of nodes due to failures and the operator's scheduling policies, leading to losing a stage - a part of the model. The conventional approaches to recover from failures are to either use checkpointing, where periodically a copy of the entire model is sent to an additional storage, or redundant computation. These approaches yield significant communication and/or computation overhead even in non-failure cases and scale poorly in settings with large models. In this paper, we propose, CheckFree, an efficient recovery method where a failing stage is substituted by a weighted average of the closest neighboring stages. In contrast to the state of the art, CheckFree requires no additional computation or storage. However, because of the nature of averaging neighbouring stages, it can only recover failures of intermediate stages. We further extend our method to CheckFree+ with out-of-order pipeline execution to tolerate crashes of the first and last stages. Thanks to out-of-order pipelining, behaviour of those stages is mimicked by their neighboring ones, which allows CheckFree+ to recover them by simply copying the weights from the immediate neighbour. To be able to recover the (de)embedding layers, CheckFree+ copies those layers to the neighboring stages, which requires relatively small storage overhead. We extensively evaluate our method on LLaMa models of model sizes from 124M to 1.5B with varying failure frequencies. In the case of low and medium failure rates (5-10%), CheckFree and CheckFree+ outperform both checkpointing and redundant computation in terms of convergence in wall-clock time by over 12%. Both of our proposals can be run via our code available at: https://github.com/gensyn-ai/CheckFree.