Wiederverwendung vortrainierter Checkpoints: Orthogonales Wachstum von Mixture-of-Experts für effizientes Pre-Training großer Sprachmodelle

Recycling Pretrained Checkpoints: Orthogonal Growth of Mixture-of-Experts for Efficient Large Language Model Pre-Training

October 9, 2025

papers.authors: Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

cs.AI

papers.abstract

Die rasch steigenden Rechenkosten für das Vortraining von großen Sprachmodellen erfordern effizientere Ansätze. In bestehende, gut trainierte Checkpoints wurden zahlreiche Rechenressourcen investiert, doch viele davon bleiben aufgrund von technischen Einschränkungen oder begrenzter Modellkapazität ungenutzt. Um diese „versunkenen“ Kosten effizient wiederzuverwenden, schlagen wir vor, vortrainierte Checkpoints durch die Erweiterung ihrer Parameteranzahl und das Fortsetzen des Trainings zu recyceln. Wir präsentieren eine orthogonale Wachstumsmethode, die sich besonders für konvergierte Mixture-of-Experts-Modelle eignet: interpositionelles Layer-Kopieren für Tiefenwachstum und Experten-Duplikation mit injiziertem Rauschen für Breitenwachstum. Um den optimalen Zeitpunkt für ein solches Wachstum über eine Sequenz von Checkpoints zu bestimmen, führen wir umfangreiche Skalierungsexperimente durch, die zeigen, dass die Endgenauigkeit stark positiv mit der Höhe der versunkenen Kosten korreliert. Dies deutet darauf hin, dass eine größere Vorinvestition zu einer besseren Leistung führt. Wir skalieren unseren Ansatz auf Modelle mit 70 Milliarden Parametern und über 1 Billion Trainings-Tokens und erzielen dabei eine Genauigkeitssteigerung von 10,66 % im Vergleich zum Training von Grund auf unter demselben zusätzlichen Rechenbudget. Unser Ansatz des Checkpoint-Recyclings legt die Grundlage für eine wirtschaftlich effiziente Vortrainierung großer Sprachmodelle.

English

The rapidly increasing computational cost of pretraining Large Language Models necessitates more efficient approaches. Numerous computational costs have been invested in existing well-trained checkpoints, but many of them remain underutilized due to engineering constraints or limited model capacity. To efficiently reuse this "sunk" cost, we propose to recycle pretrained checkpoints by expanding their parameter counts and continuing training. We propose orthogonal growth method well-suited for converged Mixture-of-Experts model: interpositional layer copying for depth growth and expert duplication with injected noise for width growth. To determine the optimal timing for such growth across checkpoints sequences, we perform comprehensive scaling experiments revealing that the final accuracy has a strong positive correlation with the amount of sunk cost, indicating that greater prior investment leads to better performance. We scale our approach to models with 70B parameters and over 1T training tokens, achieving 10.66% accuracy gain over training from scratch under the same additional compute budget. Our checkpoint recycling approach establishes a foundation for economically efficient large language model pretraining.