Nicht alles ist verloren: LLM-Wiederherstellung ohne Checkpoints

All is Not Lost: LLM Recovery without Checkpoints

June 18, 2025

Autoren: Nikolay Blagoev, Oğuzhan Ersoy, Lydia Yiyu Chen

cs.AI

Zusammenfassung

Das Training von LLMs auf dezentralen und leistungsschwachen Rechenknoten, z.B. mehreren lokalen Instanzen, senkt die Trainingskosten und ermöglicht die Demokratisierung von Modellen. Die unvermeidliche Herausforderung hierbei ist der Ausfall von Knoten aufgrund von Fehlern und den Planungsrichtlinien des Betreibers, was zum Verlust einer Stufe – eines Teils des Modells – führt. Die herkömmlichen Ansätze zur Fehlerbehebung bestehen entweder in der Verwendung von Checkpointing, bei dem periodisch eine Kopie des gesamten Modells an einen zusätzlichen Speicher gesendet wird, oder in redundanter Berechnung. Diese Ansätze verursachen erheblichen Kommunikations- und/oder Berechnungsaufwand, selbst in fehlerfreien Fällen, und skalieren schlecht in Umgebungen mit großen Modellen. In diesem Artikel schlagen wir CheckFree vor, eine effiziente Methode zur Fehlerbehebung, bei der eine fehlerhafte Stufe durch einen gewichteten Durchschnitt der nächstgelegenen benachbarten Stufen ersetzt wird. Im Gegensatz zum Stand der Technik erfordert CheckFree keine zusätzliche Berechnung oder Speicherung. Aufgrund der Natur der Durchschnittsbildung benachbarter Stufen kann es jedoch nur Fehler in Zwischenstufen beheben. Wir erweitern unsere Methode weiter zu CheckFree+ mit einer Out-of-Order-Pipeline-Ausführung, um Abstürze der ersten und letzten Stufen zu tolerieren. Dank der Out-of-Order-Pipeline wird das Verhalten dieser Stufen von ihren benachbarten Stufen nachgeahmt, was es CheckFree+ ermöglicht, sie durch einfaches Kopieren der Gewichte vom unmittelbaren Nachbarn wiederherzustellen. Um die (De-)Embedding-Schichten wiederherstellen zu können, kopiert CheckFree+ diese Schichten in die benachbarten Stufen, was einen relativ geringen Speichermehraufwand erfordert. Wir evaluieren unsere Methode ausführlich an LLaMa-Modellen mit Modellgrößen von 124M bis 1,5B bei variierenden Fehlerhäufigkeiten. Im Falle von niedrigen und mittleren Fehlerraten (5-10%) übertreffen CheckFree und CheckFree+ sowohl Checkpointing als auch redundante Berechnung in Bezug auf die Konvergenz in der Echtzeit um über 12%. Beide unserer Vorschläge können über unseren Code ausgeführt werden, der unter https://github.com/gensyn-ai/CheckFree verfügbar ist.

English

Training LLMs on decentralized and wimpy computation nodes, e.g., multiple on-spot instances, lowers the training cost and enables model democratization. The inevitable challenge here is the churn of nodes due to failures and the operator's scheduling policies, leading to losing a stage - a part of the model. The conventional approaches to recover from failures are to either use checkpointing, where periodically a copy of the entire model is sent to an additional storage, or redundant computation. These approaches yield significant communication and/or computation overhead even in non-failure cases and scale poorly in settings with large models. In this paper, we propose, CheckFree, an efficient recovery method where a failing stage is substituted by a weighted average of the closest neighboring stages. In contrast to the state of the art, CheckFree requires no additional computation or storage. However, because of the nature of averaging neighbouring stages, it can only recover failures of intermediate stages. We further extend our method to CheckFree+ with out-of-order pipeline execution to tolerate crashes of the first and last stages. Thanks to out-of-order pipelining, behaviour of those stages is mimicked by their neighboring ones, which allows CheckFree+ to recover them by simply copying the weights from the immediate neighbour. To be able to recover the (de)embedding layers, CheckFree+ copies those layers to the neighboring stages, which requires relatively small storage overhead. We extensively evaluate our method on LLaMa models of model sizes from 124M to 1.5B with varying failure frequencies. In the case of low and medium failure rates (5-10%), CheckFree and CheckFree+ outperform both checkpointing and redundant computation in terms of convergence in wall-clock time by over 12%. Both of our proposals can be run via our code available at: https://github.com/gensyn-ai/CheckFree.