Statistisches Rejectionsampling verbessert die Präferenzoptimierung

Statistical Rejection Sampling Improves Preference Optimization

September 13, 2023

Autoren: Tianqi Liu, Yao Zhao, Rishabh Joshi, Misha Khalman, Mohammad Saleh, Peter J. Liu, Jialu Liu

cs.AI

Zusammenfassung

Die Verbesserung der Ausrichtung von Sprachmodellen an menschlichen Präferenzen bleibt eine aktive Forschungsherausforderung. Bisherige Ansätze haben hauptsächlich Reinforcement Learning from Human Feedback (RLHF) über Online-RL-Methoden wie Proximal Policy Optimization (PPO) genutzt. Kürzlich sind Offline-Methoden wie Sequence Likelihood Calibration (SLiC) und Direct Preference Optimization (DPO) als attraktive Alternativen aufgetaucht, die Verbesserungen in Stabilität und Skalierbarkeit bieten, während sie wettbewerbsfähige Leistung beibehalten. SLiC verfeinert seine Verlustfunktion unter Verwendung von Sequenzpaaren, die aus einer überwacht feinabgestimmten (SFT) Policy stammen, während DPO Sprachmodelle direkt auf der Grundlage von Präferenzdaten optimiert und auf ein separates Belohnungsmodell verzichtet. Allerdings erfordert der Maximum-Likelihood-Schätzer (MLE) der Zieloptimalpolitik beschriftete Präferenzpaare, die aus dieser Policy stammen. Das Fehlen eines Belohnungsmodells bei DPO schränkt dessen Fähigkeit ein, Präferenzpaare aus der optimalen Policy zu sammeln, und SLiC ist darauf beschränkt, Präferenzpaare nur aus der SFT-Policy zu sammeln. Um diese Einschränkungen zu überwinden, führen wir einen neuartigen Ansatz namens Statistical Rejection Sampling Optimization (RSO) ein, der darauf abzielt, Präferenzdaten aus der Zieloptimalpolitik mithilfe von Rejection Sampling zu gewinnen und so eine genauere Schätzung der optimalen Policy zu ermöglichen. Wir schlagen außerdem ein einheitliches Framework vor, das die in SLiC und DPO verwendeten Verlustfunktionen aus der Perspektive der Präferenzmodellierung verbessert. Durch umfangreiche Experimente über drei verschiedene Aufgaben hinweg zeigen wir, dass RSO sowohl SLiC als auch DPO in Bewertungen durch Large Language Models (LLMs) und menschliche Bewerter durchweg übertrifft.

English

Improving the alignment of language models with human preferences remains an active research challenge. Previous approaches have primarily utilized Reinforcement Learning from Human Feedback (RLHF) via online RL methods such as Proximal Policy Optimization (PPO). Recently, offline methods such as Sequence Likelihood Calibration (SLiC) and Direct Preference Optimization (DPO) have emerged as attractive alternatives, offering improvements in stability and scalability while maintaining competitive performance. SLiC refines its loss function using sequence pairs sampled from a supervised fine-tuned (SFT) policy, while DPO directly optimizes language models based on preference data, foregoing the need for a separate reward model. However, the maximum likelihood estimator (MLE) of the target optimal policy requires labeled preference pairs sampled from that policy. DPO's lack of a reward model constrains its ability to sample preference pairs from the optimal policy, and SLiC is restricted to sampling preference pairs only from the SFT policy. To address these limitations, we introduce a novel approach called Statistical Rejection Sampling Optimization (RSO) that aims to source preference data from the target optimal policy using rejection sampling, enabling a more accurate estimation of the optimal policy. We also propose a unified framework that enhances the loss functions used in both SLiC and DPO from a preference modeling standpoint. Through extensive experiments across three diverse tasks, we demonstrate that RSO consistently outperforms both SLiC and DPO on evaluations from both Large Language Model (LLM) and human raters.