Erkundung von Modellverwandtschaft zur Fusion großer Sprachmodelle

Exploring Model Kinship for Merging Large Language Models

October 16, 2024

Autoren: Yedi Hu, Yunzhi Yao, Ningyu Zhang, Shumin Deng, Huajun Chen

cs.AI

Zusammenfassung

Die Zusammenführung von Modellen ist zu einer der Schlüsseltechnologien zur Verbesserung der Leistungsfähigkeit und Effizienz von Large Language Models (LLMs) geworden. Allerdings ist unser Verständnis der erwarteten Leistungssteigerungen und Prinzipien beim Zusammenführen von zwei Modellen noch begrenzt. In dieser Arbeit führen wir das Konzept der Modellverwandtschaft ein, den Grad der Ähnlichkeit oder Verwandtschaft zwischen LLMs, analog zur biologischen Evolution. Durch umfassende empirische Analysen stellen wir fest, dass es eine bestimmte Beziehung zwischen der Modellverwandtschaft und den Leistungssteigerungen nach der Modellzusammenführung gibt, die uns bei der Auswahl von Kandidatenmodellen unterstützen kann. Inspiriert davon schlagen wir eine neue Strategie zur Modellzusammenführung vor: Top-k Greedy Merging mit Modellverwandtschaft, die bessere Leistungen auf Benchmark-Datensätzen erzielen kann. Insbesondere entdecken wir, dass die Verwendung der Modellverwandtschaft als Kriterium uns dabei helfen kann, kontinuierlich Modellzusammenführungen durchzuführen, um den Abbau (lokale Optima) in der Modellentwicklung zu lindern, während die Modellverwandtschaft als Leitfaden dienen kann, um diesen Fallen zu entkommen. Der Code ist verfügbar unter https://github.com/zjunlp/ModelKinship.

English

Model merging has become one of the key technologies for enhancing the capabilities and efficiency of Large Language Models (LLMs). However, our understanding of the expected performance gains and principles when merging any two models remains limited. In this work, we introduce model kinship, the degree of similarity or relatedness between LLMs, analogous to biological evolution. With comprehensive empirical analysis, we find that there is a certain relationship between model kinship and the performance gains after model merging, which can help guide our selection of candidate models. Inspired by this, we propose a new model merging strategy: Top-k Greedy Merging with Model Kinship, which can yield better performance on benchmark datasets. Specifically, we discover that using model kinship as a criterion can assist us in continuously performing model merging, alleviating the degradation (local optima) in model evolution, whereas model kinship can serve as a guide to escape these traps. Code is available at https://github.com/zjunlp/ModelKinship.