Переиспользование предобученных контрольных точек: Ортогональное расширение ансамблей экспертов для эффективного предобучения крупных языковых моделей

Recycling Pretrained Checkpoints: Orthogonal Growth of Mixture-of-Experts for Efficient Large Language Model Pre-Training

October 9, 2025

Авторы: Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

cs.AI

Аннотация

Быстро растущие вычислительные затраты на предварительное обучение крупных языковых моделей требуют более эффективных подходов. Значительные вычислительные ресурсы уже были вложены в существующие хорошо обученные контрольные точки, однако многие из них остаются недоиспользованными из-за инженерных ограничений или недостаточной емкости модели. Для эффективного повторного использования этих "невозвратных" затрат мы предлагаем перерабатывать предварительно обученные контрольные точки путем увеличения количества их параметров и продолжения обучения. Мы предлагаем метод ортогонального расширения, хорошо подходящий для сходившихся моделей Mixture-of-Experts: копирование слоев с межпозиционным размещением для увеличения глубины и дублирование экспертов с добавлением шума для расширения ширины. Чтобы определить оптимальное время для такого расширения в последовательностях контрольных точек, мы проводим масштабные эксперименты по масштабированию, которые показывают, что итоговая точность имеет сильную положительную корреляцию с объемом невозвратных затрат, что указывает на то, что большие предварительные вложения приводят к лучшей производительности. Мы масштабируем наш подход до моделей с 70 миллиардами параметров и более чем 1 триллионом токенов обучения, достигая увеличения точности на 10,66% по сравнению с обучением с нуля при том же дополнительном вычислительном бюджете. Наш подход к переработке контрольных точек закладывает основу для экономически эффективного предварительного обучения крупных языковых моделей.

English

The rapidly increasing computational cost of pretraining Large Language Models necessitates more efficient approaches. Numerous computational costs have been invested in existing well-trained checkpoints, but many of them remain underutilized due to engineering constraints or limited model capacity. To efficiently reuse this "sunk" cost, we propose to recycle pretrained checkpoints by expanding their parameter counts and continuing training. We propose orthogonal growth method well-suited for converged Mixture-of-Experts model: interpositional layer copying for depth growth and expert duplication with injected noise for width growth. To determine the optimal timing for such growth across checkpoints sequences, we perform comprehensive scaling experiments revealing that the final accuracy has a strong positive correlation with the amount of sunk cost, indicating that greater prior investment leads to better performance. We scale our approach to models with 70B parameters and over 1T training tokens, achieving 10.66% accuracy gain over training from scratch under the same additional compute budget. Our checkpoint recycling approach establishes a foundation for economically efficient large language model pretraining.