Statistische afwijzingssteekproeven verbeteren voorkeursoptimalisatie

Statistical Rejection Sampling Improves Preference Optimization

September 13, 2023

Auteurs: Tianqi Liu, Yao Zhao, Rishabh Joshi, Misha Khalman, Mohammad Saleh, Peter J. Liu, Jialu Liu

cs.AI

Samenvatting

Het verbeteren van de afstemming van taalmodelen op menselijke voorkeuren blijft een actieve onderzoeksuitdaging. Eerdere benaderingen maakten voornamelijk gebruik van Reinforcement Learning from Human Feedback (RLHF) via online RL-methoden zoals Proximal Policy Optimization (PPO). Recentelijk zijn offline methoden zoals Sequence Likelihood Calibration (SLiC) en Direct Preference Optimization (DPO) naar voren gekomen als aantrekkelijke alternatieven, die verbeteringen bieden in stabiliteit en schaalbaarheid terwijl ze competitieve prestaties behouden. SLiC verfijnt zijn verliesfunctie met behulp van sequentieparen die zijn bemonsterd uit een supervised fine-tuned (SFT) beleid, terwijl DPO taalmodelen direct optimaliseert op basis van voorkeursdata, zonder de noodzaak van een apart beloningsmodel. Echter, vereist de maximum likelihood estimator (MLE) van het doeloptimale beleid gelabelde voorkeursparen die zijn bemonsterd uit dat beleid. Het ontbreken van een beloningsmodel bij DPO beperkt de mogelijkheid om voorkeursparen te bemonsteren uit het optimale beleid, en SLiC is beperkt tot het bemonsteren van voorkeursparen alleen uit het SFT-beleid. Om deze beperkingen aan te pakken, introduceren we een nieuwe benadering genaamd Statistical Rejection Sampling Optimization (RSO) die streeft naar het verkrijgen van voorkeursdata uit het doeloptimale beleid met behulp van rejection sampling, waardoor een nauwkeurigere schatting van het optimale beleid mogelijk wordt. We stellen ook een uniform raamwerk voor dat de verliesfuncties die worden gebruikt in zowel SLiC als DPO verbetert vanuit een voorkeursmodeleringsperspectief. Door uitgebreide experimenten over drie diverse taken, tonen we aan dat RSO consistent beter presteert dan zowel SLiC als DPO bij evaluaties door zowel Large Language Models (LLM) als menselijke beoordelaars.

English

Improving the alignment of language models with human preferences remains an active research challenge. Previous approaches have primarily utilized Reinforcement Learning from Human Feedback (RLHF) via online RL methods such as Proximal Policy Optimization (PPO). Recently, offline methods such as Sequence Likelihood Calibration (SLiC) and Direct Preference Optimization (DPO) have emerged as attractive alternatives, offering improvements in stability and scalability while maintaining competitive performance. SLiC refines its loss function using sequence pairs sampled from a supervised fine-tuned (SFT) policy, while DPO directly optimizes language models based on preference data, foregoing the need for a separate reward model. However, the maximum likelihood estimator (MLE) of the target optimal policy requires labeled preference pairs sampled from that policy. DPO's lack of a reward model constrains its ability to sample preference pairs from the optimal policy, and SLiC is restricted to sampling preference pairs only from the SFT policy. To address these limitations, we introduce a novel approach called Statistical Rejection Sampling Optimization (RSO) that aims to source preference data from the target optimal policy using rejection sampling, enabling a more accurate estimation of the optimal policy. We also propose a unified framework that enhances the loss functions used in both SLiC and DPO from a preference modeling standpoint. Through extensive experiments across three diverse tasks, we demonstrate that RSO consistently outperforms both SLiC and DPO on evaluations from both Large Language Model (LLM) and human raters.