Model Merging in Pre-training van Grote Taalmodellen

Model Merging in Pre-training of Large Language Models

May 17, 2025

Auteurs: Yunshui Li, Yiyuan Ma, Shen Yan, Chaoyi Zhang, Jing Liu, Jianqiao Lu, Ziwen Xu, Mengzhao Chen, Minrui Wang, Shiyi Zhan, Jin Ma, Xunhao Lai, Yao Luo, Xingyan Bin, Hongbin Ren, Mingji Han, Wenhao Hao, Bairen Yi, LingJun Liu, Bole Ma, Xiaoying Jia, Zhou Xun, Liang Xiang, Yonghui Wu

cs.AI

Samenvatting

Model merging is naar voren gekomen als een veelbelovende techniek voor het verbeteren van grote taalmodelen, hoewel de toepassing ervan in grootschalige voorafgaande training relatief onontgonnen blijft. In dit artikel presenteren we een uitgebreid onderzoek naar model merging-technieken tijdens het voorafgaande trainingsproces. Door middel van uitgebreide experimenten met zowel dense als Mixture-of-Experts (MoE) architecturen, variërend van miljoenen tot meer dan 100 miljard parameters, tonen we aan dat het samenvoegen van checkpoints die zijn getraind met constante leerpercentages niet alleen aanzienlijke prestatieverbeteringen oplevert, maar ook een nauwkeurige voorspelling van annealing-gedrag mogelijk maakt. Deze verbeteringen leiden zowel tot efficiëntere modelontwikkeling als aanzienlijk lagere trainingskosten. Onze gedetailleerde ablatiestudies naar merging-strategieën en hyperparameters bieden nieuwe inzichten in de onderliggende mechanismen, terwijl ze nieuwe toepassingen blootleggen. Door middel van uitgebreide experimentele analyse bieden we de open-source gemeenschap praktische richtlijnen voor effectieve model merging tijdens de voorafgaande training.

English

Model merging has emerged as a promising technique for enhancing large language models, though its application in large-scale pre-training remains relatively unexplored. In this paper, we present a comprehensive investigation of model merging techniques during the pre-training process. Through extensive experiments with both dense and Mixture-of-Experts (MoE) architectures ranging from millions to over 100 billion parameters, we demonstrate that merging checkpoints trained with constant learning rates not only achieves significant performance improvements but also enables accurate prediction of annealing behavior. These improvements lead to both more efficient model development and significantly lower training costs. Our detailed ablation studies on merging strategies and hyperparameters provide new insights into the underlying mechanisms while uncovering novel applications. Through comprehensive experimental analysis, we offer the open-source community practical pre-training guidelines for effective model merging.