Исследование модельного родства для объединения больших языковых моделей

Exploring Model Kinship for Merging Large Language Models

October 16, 2024

Авторы: Yedi Hu, Yunzhi Yao, Ningyu Zhang, Shumin Deng, Huajun Chen

cs.AI

Аннотация

Слияние моделей стало одной из ключевых технологий для улучшения возможностей и эффективности больших языковых моделей (LLM). Однако наше понимание ожидаемого прироста производительности и принципов при слиянии любых двух моделей остается ограниченным. В данной работе мы представляем концепцию родства моделей, степень сходства или родства между LLM, аналогичную биологической эволюции. Проведя обширный эмпирический анализ, мы обнаружили, что существует определенная связь между родством моделей и приростом производительности после слияния моделей, что может помочь в выборе кандидатов для слияния. Вдохновленные этим, мы предлагаем новую стратегию слияния моделей: жадное слияние Top-k с учетом родства моделей, которая может обеспечить лучшую производительность на стандартных наборах данных. В частности, мы обнаружили, что использование родства моделей в качестве критерия может помочь нам непрерывно выполнять слияние моделей, смягчая деградацию (локальные оптимумы) в эволюции моделей, тогда как родство моделей может служить направляющим принципом для избегания этих ловушек. Код доступен по адресу https://github.com/zjunlp/ModelKinship.

English

Model merging has become one of the key technologies for enhancing the capabilities and efficiency of Large Language Models (LLMs). However, our understanding of the expected performance gains and principles when merging any two models remains limited. In this work, we introduce model kinship, the degree of similarity or relatedness between LLMs, analogous to biological evolution. With comprehensive empirical analysis, we find that there is a certain relationship between model kinship and the performance gains after model merging, which can help guide our selection of candidate models. Inspired by this, we propose a new model merging strategy: Top-k Greedy Merging with Model Kinship, which can yield better performance on benchmark datasets. Specifically, we discover that using model kinship as a criterion can assist us in continuously performing model merging, alleviating the degradation (local optima) in model evolution, whereas model kinship can serve as a guide to escape these traps. Code is available at https://github.com/zjunlp/ModelKinship.