Esplorazione della Parentela dei Modelli per la Fusione di Grandi Modelli Linguistici

Exploring Model Kinship for Merging Large Language Models

October 16, 2024

Autori: Yedi Hu, Yunzhi Yao, Ningyu Zhang, Shumin Deng, Huajun Chen

cs.AI

Abstract

La fusione di modelli è diventata una delle tecnologie chiave per potenziare le capacità e l'efficienza dei Grandi Modelli Linguistici (LLM). Tuttavia, la nostra comprensione dei guadagni di prestazioni attesi e dei principi quando si fondono due modelli rimane limitata. In questo lavoro, introduciamo la parentela dei modelli, il grado di similarità o parentela tra LLM, analogo all'evoluzione biologica. Attraverso un'analisi empirica esaustiva, scopriamo che esiste una certa relazione tra la parentela dei modelli e i guadagni di prestazioni dopo la fusione dei modelli, che può aiutare a guidare la selezione dei modelli candidati. Ispirati da ciò, proponiamo una nuova strategia di fusione dei modelli: Fusione Greedy Top-k con Parentela dei Modelli, che può produrre migliori prestazioni su set di dati di riferimento. In particolare, scopriamo che l'utilizzo della parentela dei modelli come criterio può aiutarci a eseguire continuamente la fusione dei modelli, alleviando il degrado (ottimi locali) nell'evoluzione del modello, mentre la parentela dei modelli può fungere da guida per evitare queste trappole. Il codice è disponibile su https://github.com/zjunlp/ModelKinship.

English

Model merging has become one of the key technologies for enhancing the capabilities and efficiency of Large Language Models (LLMs). However, our understanding of the expected performance gains and principles when merging any two models remains limited. In this work, we introduce model kinship, the degree of similarity or relatedness between LLMs, analogous to biological evolution. With comprehensive empirical analysis, we find that there is a certain relationship between model kinship and the performance gains after model merging, which can help guide our selection of candidate models. Inspired by this, we propose a new model merging strategy: Top-k Greedy Merging with Model Kinship, which can yield better performance on benchmark datasets. Specifically, we discover that using model kinship as a criterion can assist us in continuously performing model merging, alleviating the degradation (local optima) in model evolution, whereas model kinship can serve as a guide to escape these traps. Code is available at https://github.com/zjunlp/ModelKinship.