Ottimizzazione delle Preferenze tramite Auto-Gioco per l'Allineamento dei Modelli Linguistici

Self-Play Preference Optimization for Language Model Alignment

May 1, 2024

Autori: Yue Wu, Zhiqing Sun, Huizhuo Yuan, Kaixuan Ji, Yiming Yang, Quanquan Gu

cs.AI

Abstract

I tradizionali approcci di apprendimento per rinforzo basato sul feedback umano (RLHF) che si affidano a modelli parametrici come il modello Bradley-Terry non riescono a catturare l'intransitività e l'irrazionalità nelle preferenze umane. Recenti progressi suggeriscono che lavorare direttamente con le probabilità di preferenza può fornire una rappresentazione più accurata delle preferenze umane, consentendo un allineamento più flessibile e preciso dei modelli linguistici. In questo articolo, proponiamo un metodo basato sul self-play per l'allineamento dei modelli linguistici, che tratta il problema come un gioco a somma costante tra due giocatori finalizzato a identificare la politica di equilibrio di Nash. Il nostro approccio, denominato Self-Play Preference Optimization (SPPO), approssima l'equilibrio di Nash attraverso aggiornamenti iterativi della politica e gode di una garanzia teorica di convergenza. Il nostro metodo può aumentare efficacemente la log-verosimiglianza della risposta scelta e diminuire quella della risposta rifiutata, un risultato che non può essere ottenuto in modo banale da funzioni di perdita simmetriche come Direct Preference Optimization (DPO) e Identity Preference Optimization (IPO). Nei nostri esperimenti, utilizzando solo 60k prompt (senza risposte) dal dataset UltraFeedback e senza alcun aumento dei prompt, sfruttando un modello di preferenza pre-addestrato PairRM con soli 0.4 miliardi di parametri, SPPO è in grado di ottenere un modello derivato dal fine-tuning di Mistral-7B-Instruct-v0.2 che raggiunge un tasso di vittoria controllato per lunghezza all'avanguardia del 28.53% contro GPT-4-Turbo su AlpacaEval 2.0. Supera inoltre (iterativamente) DPO e IPO su MT-Bench e sulla Open LLM Leaderboard. È degno di nota che le forti prestazioni di SPPO sono ottenute senza ulteriori supervisioni esterne (ad esempio, risposte, preferenze, ecc.) da GPT-4 o altri modelli linguistici più potenti.

English

Traditional reinforcement learning from human feedback (RLHF) approaches relying on parametric models like the Bradley-Terry model fall short in capturing the intransitivity and irrationality in human preferences. Recent advancements suggest that directly working with preference probabilities can yield a more accurate reflection of human preferences, enabling more flexible and accurate language model alignment. In this paper, we propose a self-play-based method for language model alignment, which treats the problem as a constant-sum two-player game aimed at identifying the Nash equilibrium policy. Our approach, dubbed Self-Play Preference Optimization (SPPO), approximates the Nash equilibrium through iterative policy updates and enjoys theoretical convergence guarantee. Our method can effectively increase the log-likelihood of the chosen response and decrease that of the rejected response, which cannot be trivially achieved by symmetric pairwise loss such as Direct Preference Optimization (DPO) and Identity Preference Optimization (IPO). In our experiments, using only 60k prompts (without responses) from the UltraFeedback dataset and without any prompt augmentation, by leveraging a pre-trained preference model PairRM with only 0.4B parameters, SPPO can obtain a model from fine-tuning Mistral-7B-Instruct-v0.2 that achieves the state-of-the-art length-controlled win-rate of 28.53% against GPT-4-Turbo on AlpacaEval 2.0. It also outperforms the (iterative) DPO and IPO on MT-Bench and the Open LLM Leaderboard. Notably, the strong performance of SPPO is achieved without additional external supervision (e.g., responses, preferences, etc.) from GPT-4 or other stronger language models.