Оптимизация предпочтений с взвешенными вознаграждениями для неявного объединения моделей.

Weighted-Reward Preference Optimization for Implicit Model Fusion

December 4, 2024

Авторы: Ziyi Yang, Fanqi Wan, Longguang Zhong, Tianyuan Shi, Xiaojun Quan

cs.AI

Аннотация

При слиянии гетерогенных открытых LLM с различными архитектурами и размерами можно интегрировать преимущества различных моделей, однако существующие методы слияния сталкиваются с значительными проблемами, такими как выравнивание словаря и объединение матриц распределения. Эти процедуры не только сложны, но также подвержены появлению шума и ошибок. В данной статье мы предлагаем метод неявного слияния, Оптимизацию Предпочтительной Награды (WRPO), который использует оптимизацию предпочтений между исходными LLM и целевым LLM для эффективного передачи их возможностей. WRPO устраняет необходимость в выравнивании словаря и слиянии матриц, и может быть эффективно масштабирован для различных LLM. Для решения распределительных отклонений между исходными и целевыми LLM, WRPO вводит стратегию постепенной адаптации, которая постепенно перераспределяет зависимость от предпочтительных примеров от целевого LLM к исходным LLM. Обширные эксперименты на бенчмарках MT-Bench, AlpacaEval-2 и Arena-Hard показывают, что WRPO последовательно превосходит существующие методы слияния знаний и различные базовые методы донастройки. Примененный к модели LLaMA3-8B-Instruct в качестве целевой модели, WRPO достигает контролируемой по длине победной доли 55.9% против GPT-4-Preview-1106 на AlpacaEval-2 и доли победы 46.2% против GPT-4-0314 на Arena-Hard. Наш код доступен по адресу https://github.com/SLIT-AI/WRPO.

English

While fusing heterogeneous open-source LLMs with varying architectures and sizes can potentially integrate the strengths of different models, existing fusion methods face significant challenges, such as vocabulary alignment and merging distribution matrices. These procedures are not only complex but also prone to introducing noise and errors. In this paper, we propose an implicit fusion method, Weighted-Reward Preference Optimization (WRPO), which leverages preference optimization between the source LLMs and the target LLM to transfer their capabilities effectively. WRPO eliminates the need for vocabulary alignment and matrix fusion and can be efficiently scaled to accommodate various LLMs. To address distributional deviations between the source and target LLMs, WRPO introduces a progressive adaptation strategy that gradually shifts reliance on preferred examples from the target LLM to the source LLMs. Extensive experiments on the MT-Bench, AlpacaEval-2, and Arena-Hard benchmarks demonstrate that WRPO consistently outperforms existing knowledge fusion methods and various fine-tuning baselines. When applied to LLaMA3-8B-Instruct as the target model, WRPO achieves a length-controlled win rate of 55.9% against GPT-4-Preview-1106 on AlpacaEval-2 and a win rate of 46.2% against GPT-4-0314 on Arena-Hard. Our code is available at https://github.com/SLIT-AI/WRPO.