Exploration de la parenté de modèles pour la fusion de grands modèles de langage

Exploring Model Kinship for Merging Large Language Models

October 16, 2024

Auteurs: Yedi Hu, Yunzhi Yao, Ningyu Zhang, Shumin Deng, Huajun Chen

cs.AI

Résumé

La fusion de modèles est devenue l'une des technologies clés pour améliorer les capacités et l'efficacité des Grands Modèles de Langage (GML). Cependant, notre compréhension des gains de performance attendus et des principes lors de la fusion de deux modèles reste limitée. Dans ce travail, nous introduisons la parenté de modèle, le degré de similarité ou de parenté entre les GML, analogue à l'évolution biologique. Grâce à une analyse empirique approfondie, nous constatons qu'il existe une relation entre la parenté de modèle et les gains de performance après la fusion de modèles, ce qui peut aider à guider notre sélection de modèles candidats. Inspirés par cela, nous proposons une nouvelle stratégie de fusion de modèles : Fusion Gloutonne Top-k avec Parenté de Modèle, qui peut offrir de meilleures performances sur des ensembles de données de référence. Plus précisément, nous découvrons que l'utilisation de la parenté de modèle comme critère peut nous aider à effectuer continuellement la fusion de modèles, atténuant la dégradation (optima locaux) dans l'évolution des modèles, tandis que la parenté de modèle peut servir de guide pour échapper à ces pièges. Le code est disponible sur https://github.com/zjunlp/ModelKinship.

English

Model merging has become one of the key technologies for enhancing the capabilities and efficiency of Large Language Models (LLMs). However, our understanding of the expected performance gains and principles when merging any two models remains limited. In this work, we introduce model kinship, the degree of similarity or relatedness between LLMs, analogous to biological evolution. With comprehensive empirical analysis, we find that there is a certain relationship between model kinship and the performance gains after model merging, which can help guide our selection of candidate models. Inspired by this, we propose a new model merging strategy: Top-k Greedy Merging with Model Kinship, which can yield better performance on benchmark datasets. Specifically, we discover that using model kinship as a criterion can assist us in continuously performing model merging, alleviating the degradation (local optima) in model evolution, whereas model kinship can serve as a guide to escape these traps. Code is available at https://github.com/zjunlp/ModelKinship.