Fusión de Modelos en el Preentrenamiento de Modelos de Lenguaje a Gran Escala

Model Merging in Pre-training of Large Language Models

May 17, 2025

Autores: Yunshui Li, Yiyuan Ma, Shen Yan, Chaoyi Zhang, Jing Liu, Jianqiao Lu, Ziwen Xu, Mengzhao Chen, Minrui Wang, Shiyi Zhan, Jin Ma, Xunhao Lai, Yao Luo, Xingyan Bin, Hongbin Ren, Mingji Han, Wenhao Hao, Bairen Yi, LingJun Liu, Bole Ma, Xiaoying Jia, Zhou Xun, Liang Xiang, Yonghui Wu

cs.AI

Resumen

La fusión de modelos ha surgido como una técnica prometedora para mejorar los modelos de lenguaje a gran escala, aunque su aplicación en el preentrenamiento a gran escala sigue siendo relativamente inexplorada. En este artículo, presentamos una investigación exhaustiva de las técnicas de fusión de modelos durante el proceso de preentrenamiento. A través de experimentos extensos con arquitecturas densas y de Mezcla de Expertos (MoE) que van desde millones hasta más de 100 mil millones de parámetros, demostramos que la fusión de puntos de control entrenados con tasas de aprendizaje constantes no solo logra mejoras significativas en el rendimiento, sino que también permite predecir con precisión el comportamiento de enfriamiento. Estas mejoras conducen tanto a un desarrollo de modelos más eficiente como a costos de entrenamiento significativamente más bajos. Nuestros estudios de ablación detallados sobre estrategias de fusión e hiperparámetros proporcionan nuevas perspectivas sobre los mecanismos subyacentes mientras descubren aplicaciones novedosas. A través de un análisis experimental exhaustivo, ofrecemos a la comunidad de código abierto pautas prácticas de preentrenamiento para una fusión de modelos efectiva.

English

Model merging has emerged as a promising technique for enhancing large language models, though its application in large-scale pre-training remains relatively unexplored. In this paper, we present a comprehensive investigation of model merging techniques during the pre-training process. Through extensive experiments with both dense and Mixture-of-Experts (MoE) architectures ranging from millions to over 100 billion parameters, we demonstrate that merging checkpoints trained with constant learning rates not only achieves significant performance improvements but also enables accurate prediction of annealing behavior. These improvements lead to both more efficient model development and significantly lower training costs. Our detailed ablation studies on merging strategies and hyperparameters provide new insights into the underlying mechanisms while uncovering novel applications. Through comprehensive experimental analysis, we offer the open-source community practical pre-training guidelines for effective model merging.