Optimización de Preferencia de Recompensa Ponderada para la Fusión Implícita de Modelos

Weighted-Reward Preference Optimization for Implicit Model Fusion

December 4, 2024

Autores: Ziyi Yang, Fanqi Wan, Longguang Zhong, Tianyuan Shi, Xiaojun Quan

cs.AI

Resumen

Al fusionar LLMs heterogéneos de código abierto con arquitecturas y tamaños variables, se puede integrar potencialmente las fortalezas de diferentes modelos, sin embargo, los métodos de fusión existentes enfrentan desafíos significativos, como la alineación de vocabulario y la fusión de matrices de distribución. Estos procedimientos no solo son complejos, sino que también son propensos a introducir ruido y errores. En este documento, proponemos un método de fusión implícito, Optimización de Preferencia de Recompensa Ponderada (WRPO), que aprovecha la optimización de preferencias entre los LLMs fuente y el LLM objetivo para transferir sus capacidades de manera efectiva. WRPO elimina la necesidad de alineación de vocabulario y fusión de matrices, y puede escalarse eficientemente para acomodar varios LLMs. Para abordar las desviaciones de distribución entre los LLMs fuente y objetivo, WRPO introduce una estrategia de adaptación progresiva que desplaza gradualmente la dependencia en ejemplos preferidos del LLM objetivo a los LLMs fuente. Experimentos extensos en los bancos de pruebas MT-Bench, AlpacaEval-2 y Arena-Hard demuestran que WRPO supera consistentemente a los métodos existentes de fusión de conocimientos y varias líneas de base de ajuste fino. Cuando se aplica al modelo objetivo LLaMA3-8B-Instruct, WRPO logra una tasa de victoria controlada por longitud del 55.9% contra GPT-4-Preview-1106 en AlpacaEval-2 y una tasa de victoria del 46.2% contra GPT-4-0314 en Arena-Hard. Nuestro código está disponible en https://github.com/SLIT-AI/WRPO.

English

While fusing heterogeneous open-source LLMs with varying architectures and sizes can potentially integrate the strengths of different models, existing fusion methods face significant challenges, such as vocabulary alignment and merging distribution matrices. These procedures are not only complex but also prone to introducing noise and errors. In this paper, we propose an implicit fusion method, Weighted-Reward Preference Optimization (WRPO), which leverages preference optimization between the source LLMs and the target LLM to transfer their capabilities effectively. WRPO eliminates the need for vocabulary alignment and matrix fusion and can be efficiently scaled to accommodate various LLMs. To address distributional deviations between the source and target LLMs, WRPO introduces a progressive adaptation strategy that gradually shifts reliance on preferred examples from the target LLM to the source LLMs. Extensive experiments on the MT-Bench, AlpacaEval-2, and Arena-Hard benchmarks demonstrate that WRPO consistently outperforms existing knowledge fusion methods and various fine-tuning baselines. When applied to LLaMA3-8B-Instruct as the target model, WRPO achieves a length-controlled win rate of 55.9% against GPT-4-Preview-1106 on AlpacaEval-2 and a win rate of 46.2% against GPT-4-0314 on Arena-Hard. Our code is available at https://github.com/SLIT-AI/WRPO.