Explorando el Parentesco de Modelos para Fusionar Modelos de Lenguaje Grandes

Exploring Model Kinship for Merging Large Language Models

October 16, 2024

Autores: Yedi Hu, Yunzhi Yao, Ningyu Zhang, Shumin Deng, Huajun Chen

cs.AI

Resumen

La fusión de modelos se ha convertido en una de las tecnologías clave para mejorar las capacidades y eficiencia de los Modelos de Lenguaje Grandes (LLMs). Sin embargo, nuestra comprensión de las ganancias de rendimiento esperadas y los principios al fusionar cualquier par de modelos sigue siendo limitada. En este trabajo, introducimos el parentesco de modelos, el grado de similitud o relación entre LLMs, análogo a la evolución biológica. Con un análisis empírico exhaustivo, encontramos que existe una cierta relación entre el parentesco de modelos y las ganancias de rendimiento después de la fusión de modelos, lo que puede ayudar a guiar nuestra selección de modelos candidatos. Inspirados por esto, proponemos una nueva estrategia de fusión de modelos: Fusión Codiciosa Top-k con Parentesco de Modelos, que puede ofrecer un mejor rendimiento en conjuntos de datos de referencia. Específicamente, descubrimos que el uso del parentesco de modelos como criterio puede ayudarnos a realizar continuamente la fusión de modelos, aliviando la degradación (óptimos locales) en la evolución del modelo, mientras que el parentesco de modelos puede servir como guía para escapar de estas trampas. El código está disponible en https://github.com/zjunlp/ModelKinship.

English

Model merging has become one of the key technologies for enhancing the capabilities and efficiency of Large Language Models (LLMs). However, our understanding of the expected performance gains and principles when merging any two models remains limited. In this work, we introduce model kinship, the degree of similarity or relatedness between LLMs, analogous to biological evolution. With comprehensive empirical analysis, we find that there is a certain relationship between model kinship and the performance gains after model merging, which can help guide our selection of candidate models. Inspired by this, we propose a new model merging strategy: Top-k Greedy Merging with Model Kinship, which can yield better performance on benchmark datasets. Specifically, we discover that using model kinship as a criterion can assist us in continuously performing model merging, alleviating the degradation (local optima) in model evolution, whereas model kinship can serve as a guide to escape these traps. Code is available at https://github.com/zjunlp/ModelKinship.