Recyclage des points de contrôle pré-entraînés : Croissance orthogonale des mélanges d'experts pour un pré-entraînement efficace des grands modèles de langage

Recycling Pretrained Checkpoints: Orthogonal Growth of Mixture-of-Experts for Efficient Large Language Model Pre-Training

October 9, 2025

papers.authors: Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

cs.AI

papers.abstract

L'augmentation rapide des coûts computationnels liés au pré-entraînement des grands modèles de langage nécessite des approches plus efficaces. D'importants coûts computationnels ont été investis dans des points de contrôle bien entraînés existants, mais beaucoup d'entre eux restent sous-utilisés en raison de contraintes techniques ou d'une capacité limitée du modèle. Pour réutiliser efficacement ce coût « irrécupérable », nous proposons de recycler les points de contrôle pré-entraînés en augmentant leur nombre de paramètres et en poursuivant l'entraînement. Nous proposons une méthode de croissance orthogonale adaptée aux modèles convergents de type Mixture-of-Experts : la copie interpositionnelle de couches pour la croissance en profondeur et la duplication d'experts avec injection de bruit pour la croissance en largeur. Pour déterminer le moment optimal d'une telle croissance dans les séquences de points de contrôle, nous réalisons des expériences d'échelle approfondies révélant que la précision finale est fortement corrélée positivement au coût irrécupérable, indiquant qu'un investissement antérieur plus important conduit à de meilleures performances. Nous appliquons notre approche à des modèles de 70 milliards de paramètres et plus de 1 000 milliards de tokens d'entraînement, obtenant un gain de précision de 10,66 % par rapport à un entraînement à partir de zéro avec le même budget computationnel supplémentaire. Notre approche de recyclage des points de contrôle jette les bases d'un pré-entraînement économiquement efficace des grands modèles de langage.

English

The rapidly increasing computational cost of pretraining Large Language Models necessitates more efficient approaches. Numerous computational costs have been invested in existing well-trained checkpoints, but many of them remain underutilized due to engineering constraints or limited model capacity. To efficiently reuse this "sunk" cost, we propose to recycle pretrained checkpoints by expanding their parameter counts and continuing training. We propose orthogonal growth method well-suited for converged Mixture-of-Experts model: interpositional layer copying for depth growth and expert duplication with injected noise for width growth. To determine the optimal timing for such growth across checkpoints sequences, we perform comprehensive scaling experiments revealing that the final accuracy has a strong positive correlation with the amount of sunk cost, indicating that greater prior investment leads to better performance. We scale our approach to models with 70B parameters and over 1T training tokens, achieving 10.66% accuracy gain over training from scratch under the same additional compute budget. Our checkpoint recycling approach establishes a foundation for economically efficient large language model pretraining.