Слияние моделей в предварительном обучении больших языковых моделей

Model Merging in Pre-training of Large Language Models

May 17, 2025

Авторы: Yunshui Li, Yiyuan Ma, Shen Yan, Chaoyi Zhang, Jing Liu, Jianqiao Lu, Ziwen Xu, Mengzhao Chen, Minrui Wang, Shiyi Zhan, Jin Ma, Xunhao Lai, Yao Luo, Xingyan Bin, Hongbin Ren, Mingji Han, Wenhao Hao, Bairen Yi, LingJun Liu, Bole Ma, Xiaoying Jia, Zhou Xun, Liang Xiang, Yonghui Wu

cs.AI

Аннотация

Объединение моделей стало перспективной методикой для улучшения крупных языковых моделей, хотя его применение в масштабном предварительном обучении остается относительно малоизученным. В данной статье мы представляем всестороннее исследование техник объединения моделей в процессе предварительного обучения. Благодаря обширным экспериментам с плотными архитектурами и архитектурами типа "Смесь экспертов" (Mixture-of-Experts, MoE), охватывающими модели от миллионов до более чем 100 миллиардов параметров, мы демонстрируем, что объединение контрольных точек, обученных с постоянными темпами обучения, не только приводит к значительному улучшению производительности, но и позволяет точно предсказывать поведение при затухании. Эти улучшения способствуют как более эффективной разработке моделей, так и существенному снижению затрат на обучение. Наши детальные исследования влияния стратегий объединения и гиперпараметров предоставляют новые инсайты в лежащие в основе механизмы, одновременно раскрывая новые области применения. Благодаря всестороннему экспериментальному анализу мы предлагаем сообществу open-source практические рекомендации по предварительному обучению для эффективного объединения моделей.

English

Model merging has emerged as a promising technique for enhancing large language models, though its application in large-scale pre-training remains relatively unexplored. In this paper, we present a comprehensive investigation of model merging techniques during the pre-training process. Through extensive experiments with both dense and Mixture-of-Experts (MoE) architectures ranging from millions to over 100 billion parameters, we demonstrate that merging checkpoints trained with constant learning rates not only achieves significant performance improvements but also enables accurate prediction of annealing behavior. These improvements lead to both more efficient model development and significantly lower training costs. Our detailed ablation studies on merging strategies and hyperparameters provide new insights into the underlying mechanisms while uncovering novel applications. Through comprehensive experimental analysis, we offer the open-source community practical pre-training guidelines for effective model merging.