Fusion de modèles dans le pré-entraînement des grands modèles de langage

Model Merging in Pre-training of Large Language Models

May 17, 2025

Auteurs: Yunshui Li, Yiyuan Ma, Shen Yan, Chaoyi Zhang, Jing Liu, Jianqiao Lu, Ziwen Xu, Mengzhao Chen, Minrui Wang, Shiyi Zhan, Jin Ma, Xunhao Lai, Yao Luo, Xingyan Bin, Hongbin Ren, Mingji Han, Wenhao Hao, Bairen Yi, LingJun Liu, Bole Ma, Xiaoying Jia, Zhou Xun, Liang Xiang, Yonghui Wu

cs.AI

Résumé

La fusion de modèles s'est imposée comme une technique prometteuse pour améliorer les grands modèles de langage, bien que son application dans le pré-entraînement à grande échelle reste relativement inexplorée. Dans cet article, nous présentons une étude approfondie des techniques de fusion de modèles pendant le processus de pré-entraînement. Grâce à des expériences approfondies avec des architectures denses et Mixture-of-Experts (MoE) allant de millions à plus de 100 milliards de paramètres, nous démontrons que la fusion de points de contrôle entraînés avec des taux d'apprentissage constants permet non seulement d'obtenir des améliorations significatives des performances, mais aussi de prédire avec précision le comportement de recuit. Ces améliorations conduisent à un développement de modèles plus efficace et à des coûts d'entraînement significativement réduits. Nos études d'ablation détaillées sur les stratégies de fusion et les hyperparamètres apportent de nouvelles perspectives sur les mécanismes sous-jacents tout en révélant de nouvelles applications. À travers une analyse expérimentale complète, nous offrons à la communauté open-source des directives pratiques de pré-entraînement pour une fusion de modèles efficace.

English

Model merging has emerged as a promising technique for enhancing large language models, though its application in large-scale pre-training remains relatively unexplored. In this paper, we present a comprehensive investigation of model merging techniques during the pre-training process. Through extensive experiments with both dense and Mixture-of-Experts (MoE) architectures ranging from millions to over 100 billion parameters, we demonstrate that merging checkpoints trained with constant learning rates not only achieves significant performance improvements but also enables accurate prediction of annealing behavior. These improvements lead to both more efficient model development and significantly lower training costs. Our detailed ablation studies on merging strategies and hyperparameters provide new insights into the underlying mechanisms while uncovering novel applications. Through comprehensive experimental analysis, we offer the open-source community practical pre-training guidelines for effective model merging.