Gewogen-beloning voorkeursoptimalisatie voor impliciete model fusie

Weighted-Reward Preference Optimization for Implicit Model Fusion

December 4, 2024

Auteurs: Ziyi Yang, Fanqi Wan, Longguang Zhong, Tianyuan Shi, Xiaojun Quan

cs.AI

Samenvatting

Het samenvoegen van heterogene open-source LLM's met verschillende architecturen en groottes kan potentieel de sterke punten van verschillende modellen integreren, maar bestaande fusiemethoden staan voor aanzienlijke uitdagingen, zoals woordenschatuitlijning en het samenvoegen van distributiematrices. Deze procedures zijn niet alleen complex, maar ook vatbaar voor het introduceren van ruis en fouten. In dit artikel stellen we een impliciete fusiemethode voor, Weighted-Reward Preference Optimization (WRPO), die gebruikmaakt van voorkeursoptimalisatie tussen de bron-LLM's en de doel-LLM om hun capaciteiten effectief over te dragen. WRPO elimineert de noodzaak voor woordenschatuitlijning en matrixfusie en kan efficiënt worden opgeschaald om verschillende LLM's te accommoderen. Om distributie-afwijkingen tussen de bron- en doel-LLM's aan te pakken, introduceert WRPO een progressieve aanpassingsstrategie die geleidelijk de afhankelijkheid van voorkeurvoorbeelden van de doel-LLM naar de bron-LLM's verplaatst. Uitgebreide experimenten op de MT-Bench, AlpacaEval-2 en Arena-Hard benchmarks tonen aan dat WRPO consequent beter presteert dan bestaande kennisfusiemethoden en verschillende fine-tuning baselines. Wanneer toegepast op LLaMA3-8B-Instruct als het doelmodel, behaalt WRPO een lengte-gecontroleerd winstpercentage van 55,9% tegen GPT-4-Preview-1106 op AlpacaEval-2 en een winstpercentage van 46,2% tegen GPT-4-0314 op Arena-Hard. Onze code is beschikbaar op https://github.com/SLIT-AI/WRPO.

English

While fusing heterogeneous open-source LLMs with varying architectures and sizes can potentially integrate the strengths of different models, existing fusion methods face significant challenges, such as vocabulary alignment and merging distribution matrices. These procedures are not only complex but also prone to introducing noise and errors. In this paper, we propose an implicit fusion method, Weighted-Reward Preference Optimization (WRPO), which leverages preference optimization between the source LLMs and the target LLM to transfer their capabilities effectively. WRPO eliminates the need for vocabulary alignment and matrix fusion and can be efficiently scaled to accommodate various LLMs. To address distributional deviations between the source and target LLMs, WRPO introduces a progressive adaptation strategy that gradually shifts reliance on preferred examples from the target LLM to the source LLMs. Extensive experiments on the MT-Bench, AlpacaEval-2, and Arena-Hard benchmarks demonstrate that WRPO consistently outperforms existing knowledge fusion methods and various fine-tuning baselines. When applied to LLaMA3-8B-Instruct as the target model, WRPO achieves a length-controlled win rate of 55.9% against GPT-4-Preview-1106 on AlpacaEval-2 and a win rate of 46.2% against GPT-4-0314 on Arena-Hard. Our code is available at https://github.com/SLIT-AI/WRPO.