Оптимизация предпочтений самоигры для выравнивания языковой модели

Self-Play Preference Optimization for Language Model Alignment

May 1, 2024

Авторы: Yue Wu, Zhiqing Sun, Huizhuo Yuan, Kaixuan Ji, Yiming Yang, Quanquan Gu

cs.AI

Аннотация

Традиционные подходы к обучению с подкреплением от обратной связи человека (RLHF), основанные на параметрических моделях, таких как модель Брэдли-Терри, недостаточно улавливают непереходящие и иррациональные предпочтения человека. Недавние достижения показывают, что прямая работа с вероятностями предпочтений может обеспечить более точное отражение человеческих предпочтений, обеспечивая более гибкую и точную настройку языковой модели. В данной статье мы предлагаем метод настройки языковой модели на основе самоигры, который рассматривает проблему как игру двух игроков с постоянной суммой, направленную на определение политики равновесия Нэша. Наш подход, названный Самоигровая Оптимизация Предпочтений (SPPO), приближает равновесие Нэша через итеративное обновление политики и обеспечивает теоретическую гарантию сходимости. Наш метод может эффективно увеличить логарифмическую вероятность выбранного ответа и уменьшить вероятность отклоненного ответа, что не может быть тривиально достигнуто симметричной парной потерей, такой как Прямая Оптимизация Предпочтений (DPO) и Оптимизация Предпочтений Идентичности (IPO). В наших экспериментах, используя только 60 тыс. подсказок (без ответов) из набора данных UltraFeedback и без какого-либо дополнения подсказок, используя предварительно обученную модель предпочтений PairRM с всего 0,4 млрд параметров, SPPO может получить модель путем донастройки Mistral-7B-Instruct-v0.2, которая достигает современного уровня выигрыша с контролем длины в 28,53% против GPT-4-Turbo на AlpacaEval 2.0. Он также превосходит (итеративные) DPO и IPO на MT-Bench и Open LLM Leaderboard. Заметим, что высокая производительность SPPO достигается без дополнительного внешнего надзора (например, ответов, предпочтений и т. д.) от GPT-4 или других более мощных языковых моделей.

English

Traditional reinforcement learning from human feedback (RLHF) approaches relying on parametric models like the Bradley-Terry model fall short in capturing the intransitivity and irrationality in human preferences. Recent advancements suggest that directly working with preference probabilities can yield a more accurate reflection of human preferences, enabling more flexible and accurate language model alignment. In this paper, we propose a self-play-based method for language model alignment, which treats the problem as a constant-sum two-player game aimed at identifying the Nash equilibrium policy. Our approach, dubbed Self-Play Preference Optimization (SPPO), approximates the Nash equilibrium through iterative policy updates and enjoys theoretical convergence guarantee. Our method can effectively increase the log-likelihood of the chosen response and decrease that of the rejected response, which cannot be trivially achieved by symmetric pairwise loss such as Direct Preference Optimization (DPO) and Identity Preference Optimization (IPO). In our experiments, using only 60k prompts (without responses) from the UltraFeedback dataset and without any prompt augmentation, by leveraging a pre-trained preference model PairRM with only 0.4B parameters, SPPO can obtain a model from fine-tuning Mistral-7B-Instruct-v0.2 that achieves the state-of-the-art length-controlled win-rate of 28.53% against GPT-4-Turbo on AlpacaEval 2.0. It also outperforms the (iterative) DPO and IPO on MT-Bench and the Open LLM Leaderboard. Notably, the strong performance of SPPO is achieved without additional external supervision (e.g., responses, preferences, etc.) from GPT-4 or other stronger language models.