Explorando Parentesco de Modelos para Fusão de Grandes Modelos de Linguagem

Exploring Model Kinship for Merging Large Language Models

October 16, 2024

Autores: Yedi Hu, Yunzhi Yao, Ningyu Zhang, Shumin Deng, Huajun Chen

cs.AI

Resumo

A fusão de modelos tornou-se uma das tecnologias-chave para aprimorar as capacidades e eficiência de Modelos de Linguagem de Grande Escala (LLMs). No entanto, nossa compreensão dos ganhos de desempenho esperados e dos princípios ao mesclar quaisquer dois modelos permanece limitada. Neste trabalho, introduzimos a parentesca de modelos, o grau de similaridade ou parentesco entre LLMs, análogo à evolução biológica. Com uma análise empírica abrangente, descobrimos que há uma relação entre a parentesca de modelos e os ganhos de desempenho após a fusão de modelos, o que pode ajudar a orientar a seleção de modelos candidatos. Inspirados por isso, propomos uma nova estratégia de fusão de modelos: Fusão Gananciosa Top-k com Parentesca de Modelos, que pode proporcionar um melhor desempenho em conjuntos de dados de referência. Especificamente, descobrimos que o uso da parentesca de modelos como critério pode nos auxiliar na realização contínua da fusão de modelos, aliviando a degradação (ótimos locais) na evolução do modelo, enquanto a parentesca de modelos pode servir como um guia para escapar dessas armadilhas. O código está disponível em https://github.com/zjunlp/ModelKinship.

English

Model merging has become one of the key technologies for enhancing the capabilities and efficiency of Large Language Models (LLMs). However, our understanding of the expected performance gains and principles when merging any two models remains limited. In this work, we introduce model kinship, the degree of similarity or relatedness between LLMs, analogous to biological evolution. With comprehensive empirical analysis, we find that there is a certain relationship between model kinship and the performance gains after model merging, which can help guide our selection of candidate models. Inspired by this, we propose a new model merging strategy: Top-k Greedy Merging with Model Kinship, which can yield better performance on benchmark datasets. Specifically, we discover that using model kinship as a criterion can assist us in continuously performing model merging, alleviating the degradation (local optima) in model evolution, whereas model kinship can serve as a guide to escape these traps. Code is available at https://github.com/zjunlp/ModelKinship.