Zelfspel Voorkeursoptimalisatie voor Taalmodeluitlijning

Samenvatting

Traditionele benaderingen van reinforcement learning from human feedback (RLHF) die vertrouwen op parametrische modellen zoals het Bradley-Terry-model, schieten tekort in het vastleggen van intransitiviteit en irrationaliteit in menselijke voorkeuren. Recente ontwikkelingen suggereren dat het direct werken met voorkeurskansen een nauwkeuriger weerspiegeling van menselijke voorkeuren kan opleveren, wat een flexibelere en preciezere afstemming van taalmogelijk mogelijk maakt. In dit artikel stellen we een methode voor op basis van zelfspel voor de afstemming van taalmogelijk, waarbij het probleem wordt behandeld als een constant-sum tweespelersspel gericht op het identificeren van het Nash-evenwichtsbeleid. Onze aanpak, genaamd Self-Play Preference Optimization (SPPO), benadert het Nash-evenwicht door middel van iteratieve beleidsupdates en geniet van een theoretische convergentiegarantie. Onze methode kan effectief de log-waarschijnlijkheid van het gekozen antwoord verhogen en die van het afgewezen antwoord verlagen, wat niet triviaal kan worden bereikt met symmetrische paarsgewijze verliesfuncties zoals Direct Preference Optimization (DPO) en Identity Preference Optimization (IPO). In onze experimenten, waarbij we slechts 60k prompts (zonder antwoorden) uit de UltraFeedback-dataset gebruiken en zonder enige prompt-augmentatie, door gebruik te maken van een vooraf getraind voorkeursmodel PairRM met slechts 0,4B parameters, kan SPPO een model verkrijgen door fine-tuning van Mistral-7B-Instruct-v0.2 dat een state-of-the-art lengte-gecontroleerde win-rate van 28,53% behaalt tegen GPT-4-Turbo op AlpacaEval 2.0. Het presteert ook beter dan de (iteratieve) DPO en IPO op MT-Bench en de Open LLM Leaderboard. Opmerkelijk is dat de sterke prestaties van SPPO worden bereikt zonder aanvullende externe supervisie (bijv. antwoorden, voorkeuren, etc.) van GPT-4 of andere sterkere taalmogelijk.

English

Traditional reinforcement learning from human feedback (RLHF) approaches relying on parametric models like the Bradley-Terry model fall short in capturing the intransitivity and irrationality in human preferences. Recent advancements suggest that directly working with preference probabilities can yield a more accurate reflection of human preferences, enabling more flexible and accurate language model alignment. In this paper, we propose a self-play-based method for language model alignment, which treats the problem as a constant-sum two-player game aimed at identifying the Nash equilibrium policy. Our approach, dubbed Self-Play Preference Optimization (SPPO), approximates the Nash equilibrium through iterative policy updates and enjoys theoretical convergence guarantee. Our method can effectively increase the log-likelihood of the chosen response and decrease that of the rejected response, which cannot be trivially achieved by symmetric pairwise loss such as Direct Preference Optimization (DPO) and Identity Preference Optimization (IPO). In our experiments, using only 60k prompts (without responses) from the UltraFeedback dataset and without any prompt augmentation, by leveraging a pre-trained preference model PairRM with only 0.4B parameters, SPPO can obtain a model from fine-tuning Mistral-7B-Instruct-v0.2 that achieves the state-of-the-art length-controlled win-rate of 28.53% against GPT-4-Turbo on AlpacaEval 2.0. It also outperforms the (iterative) DPO and IPO on MT-Bench and the Open LLM Leaderboard. Notably, the strong performance of SPPO is achieved without additional external supervision (e.g., responses, preferences, etc.) from GPT-4 or other stronger language models.

Zelfspel Voorkeursoptimalisatie voor Taalmodeluitlijning

Self-Play Preference Optimization for Language Model Alignment

Samenvatting

Support