Fusione di Modelli nel Pre-addestramento di Grandi Modelli Linguistici

Model Merging in Pre-training of Large Language Models

May 17, 2025

Autori: Yunshui Li, Yiyuan Ma, Shen Yan, Chaoyi Zhang, Jing Liu, Jianqiao Lu, Ziwen Xu, Mengzhao Chen, Minrui Wang, Shiyi Zhan, Jin Ma, Xunhao Lai, Yao Luo, Xingyan Bin, Hongbin Ren, Mingji Han, Wenhao Hao, Bairen Yi, LingJun Liu, Bole Ma, Xiaoying Jia, Zhou Xun, Liang Xiang, Yonghui Wu

cs.AI

Abstract

La fusione di modelli è emersa come una tecnica promettente per migliorare i modelli linguistici di grandi dimensioni, sebbene la sua applicazione nel pre-training su larga scala rimanga relativamente inesplorata. In questo articolo, presentiamo un'indagine completa sulle tecniche di fusione di modelli durante il processo di pre-training. Attraverso esperimenti estesi con architetture sia dense che a Mistura di Esperti (MoE), che vanno da milioni a oltre 100 miliardi di parametri, dimostriamo che la fusione di checkpoint addestrati con tassi di apprendimento costanti non solo raggiunge miglioramenti significativi delle prestazioni, ma consente anche una previsione accurata del comportamento di annealing. Questi miglioramenti portano sia a uno sviluppo più efficiente dei modelli che a costi di addestramento significativamente inferiori. I nostri studi di ablazione dettagliati sulle strategie di fusione e sugli iperparametri forniscono nuove intuizioni sui meccanismi sottostanti, scoprendo al contempo nuove applicazioni. Attraverso un'analisi sperimentale completa, offriamo alla comunità open-source linee guida pratiche per il pre-training per una fusione efficace dei modelli.

English

Model merging has emerged as a promising technique for enhancing large language models, though its application in large-scale pre-training remains relatively unexplored. In this paper, we present a comprehensive investigation of model merging techniques during the pre-training process. Through extensive experiments with both dense and Mixture-of-Experts (MoE) architectures ranging from millions to over 100 billion parameters, we demonstrate that merging checkpoints trained with constant learning rates not only achieves significant performance improvements but also enables accurate prediction of annealing behavior. These improvements lead to both more efficient model development and significantly lower training costs. Our detailed ablation studies on merging strategies and hyperparameters provide new insights into the underlying mechanisms while uncovering novel applications. Through comprehensive experimental analysis, we offer the open-source community practical pre-training guidelines for effective model merging.