Optimización de Preferencias mediante Auto-Juego para la Alineación de Modelos de Lenguaje

Self-Play Preference Optimization for Language Model Alignment

May 1, 2024

Autores: Yue Wu, Zhiqing Sun, Huizhuo Yuan, Kaixuan Ji, Yiming Yang, Quanquan Gu

cs.AI

Resumen

Los enfoques tradicionales de aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) que dependen de modelos paramétricos como el modelo de Bradley-Terry no logran capturar la intransitividad e irracionalidad en las preferencias humanas. Avances recientes sugieren que trabajar directamente con probabilidades de preferencia puede reflejar de manera más precisa las preferencias humanas, permitiendo una alineación de modelos de lenguaje más flexible y precisa. En este artículo, proponemos un método basado en autojuego para la alineación de modelos de lenguaje, que aborda el problema como un juego de suma constante entre dos jugadores destinado a identificar la política de equilibrio de Nash. Nuestro enfoque, denominado Optimización de Preferencias por Autojuego (SPPO, por sus siglas en inglés), aproxima el equilibrio de Nash mediante actualizaciones iterativas de políticas y cuenta con una garantía teórica de convergencia. Nuestro método puede aumentar efectivamente la verosimilitud logarítmica de la respuesta elegida y disminuir la de la respuesta rechazada, lo cual no puede lograrse trivialmente con funciones de pérdida simétricas por pares como la Optimización Directa de Preferencias (DPO) o la Optimización de Preferencias de Identidad (IPO). En nuestros experimentos, utilizando solo 60k indicaciones (sin respuestas) del conjunto de datos UltraFeedback y sin ninguna ampliación de indicaciones, al aprovechar un modelo de preferencias preentrenado PairRM con solo 0.4 mil millones de parámetros, SPPO puede obtener un modelo a partir del ajuste fino de Mistral-7B-Instruct-v0.2 que alcanza una tasa de victoria controlada por longitud de 28.53% contra GPT-4-Turbo en AlpacaEval 2.0, superando también a DPO (iterativo) e IPO en MT-Bench y en el Open LLM Leaderboard. Cabe destacar que el fuerte rendimiento de SPPO se logra sin supervisión externa adicional (por ejemplo, respuestas, preferencias, etc.) de GPT-4 u otros modelos de lenguaje más potentes.

English

Traditional reinforcement learning from human feedback (RLHF) approaches relying on parametric models like the Bradley-Terry model fall short in capturing the intransitivity and irrationality in human preferences. Recent advancements suggest that directly working with preference probabilities can yield a more accurate reflection of human preferences, enabling more flexible and accurate language model alignment. In this paper, we propose a self-play-based method for language model alignment, which treats the problem as a constant-sum two-player game aimed at identifying the Nash equilibrium policy. Our approach, dubbed Self-Play Preference Optimization (SPPO), approximates the Nash equilibrium through iterative policy updates and enjoys theoretical convergence guarantee. Our method can effectively increase the log-likelihood of the chosen response and decrease that of the rejected response, which cannot be trivially achieved by symmetric pairwise loss such as Direct Preference Optimization (DPO) and Identity Preference Optimization (IPO). In our experiments, using only 60k prompts (without responses) from the UltraFeedback dataset and without any prompt augmentation, by leveraging a pre-trained preference model PairRM with only 0.4B parameters, SPPO can obtain a model from fine-tuning Mistral-7B-Instruct-v0.2 that achieves the state-of-the-art length-controlled win-rate of 28.53% against GPT-4-Turbo on AlpacaEval 2.0. It also outperforms the (iterative) DPO and IPO on MT-Bench and the Open LLM Leaderboard. Notably, the strong performance of SPPO is achieved without additional external supervision (e.g., responses, preferences, etc.) from GPT-4 or other stronger language models.