Niet Alles is Verloren: LLM-herstel zonder Checkpoints

All is Not Lost: LLM Recovery without Checkpoints

June 18, 2025

Auteurs: Nikolay Blagoev, Oğuzhan Ersoy, Lydia Yiyu Chen

cs.AI

Samenvatting

Het trainen van LLM's op gedecentraliseerde en beperkte rekenknooppunten, zoals meerdere on-site instanties, verlaagt de trainingskosten en maakt modeldemocratisering mogelijk. De onvermijdelijke uitdaging hierbij is het uitvallen van knooppunten door fouten en het planningsbeleid van de operator, wat leidt tot het verlies van een fase - een deel van het model. De conventionele benaderingen om van fouten te herstellen zijn het gebruik van checkpointing, waarbij periodiek een kopie van het volledige model naar een extra opslag wordt gestuurd, of redundante berekeningen. Deze benaderingen veroorzaken aanzienlijke communicatie- en/of rekenoverhead, zelfs in gevallen zonder fouten, en schalen slecht in omgevingen met grote modellen. In dit artikel stellen we CheckFree voor, een efficiënte herstelmethode waarbij een falende fase wordt vervangen door een gewogen gemiddelde van de dichtstbijzijnde naburige fasen. In tegenstelling tot de state-of-the-art vereist CheckFree geen extra berekeningen of opslag. Vanwege de aard van het middelen van naburige fasen kan het echter alleen fouten in tussenliggende fasen herstellen. We breiden onze methode verder uit naar CheckFree+ met uit-de-volgorde pijplijnuitvoering om crashes van de eerste en laatste fasen te tolereren. Dankzij uit-de-volgorde pijplijnen wordt het gedrag van die fasen nagebootst door hun naburige fasen, wat CheckFree+ in staat stelt ze te herstellen door simpelweg de gewichten van de directe buur te kopiëren. Om de (de)embedding-lagen te kunnen herstellen, kopieert CheckFree+ die lagen naar de naburige fasen, wat relatief weinig opslagoverhead vereist. We evalueren onze methode uitgebreid op LLaMa-modellen van modelgroottes van 124M tot 1,5B met variërende faalfrequenties. In het geval van lage en gemiddelde faalpercentages (5-10%) presteren CheckFree en CheckFree+ beter dan zowel checkpointing als redundante berekeningen in termen van convergentie in kloktijd met meer dan 12%. Beide van onze voorstellen kunnen worden uitgevoerd via onze code beschikbaar op: https://github.com/gensyn-ai/CheckFree.

English

Training LLMs on decentralized and wimpy computation nodes, e.g., multiple on-spot instances, lowers the training cost and enables model democratization. The inevitable challenge here is the churn of nodes due to failures and the operator's scheduling policies, leading to losing a stage - a part of the model. The conventional approaches to recover from failures are to either use checkpointing, where periodically a copy of the entire model is sent to an additional storage, or redundant computation. These approaches yield significant communication and/or computation overhead even in non-failure cases and scale poorly in settings with large models. In this paper, we propose, CheckFree, an efficient recovery method where a failing stage is substituted by a weighted average of the closest neighboring stages. In contrast to the state of the art, CheckFree requires no additional computation or storage. However, because of the nature of averaging neighbouring stages, it can only recover failures of intermediate stages. We further extend our method to CheckFree+ with out-of-order pipeline execution to tolerate crashes of the first and last stages. Thanks to out-of-order pipelining, behaviour of those stages is mimicked by their neighboring ones, which allows CheckFree+ to recover them by simply copying the weights from the immediate neighbour. To be able to recover the (de)embedding layers, CheckFree+ copies those layers to the neighboring stages, which requires relatively small storage overhead. We extensively evaluate our method on LLaMa models of model sizes from 124M to 1.5B with varying failure frequencies. In the case of low and medium failure rates (5-10%), CheckFree and CheckFree+ outperform both checkpointing and redundant computation in terms of convergence in wall-clock time by over 12%. Both of our proposals can be run via our code available at: https://github.com/gensyn-ai/CheckFree.