Il Campionamento Statistico per Rifiuto Migliora l'Ottimizzazione delle Preferenze
Statistical Rejection Sampling Improves Preference Optimization
September 13, 2023
Autori: Tianqi Liu, Yao Zhao, Rishabh Joshi, Misha Khalman, Mohammad Saleh, Peter J. Liu, Jialu Liu
cs.AI
Abstract
Migliorare l'allineamento dei modelli linguistici con le preferenze umane rimane una sfida di ricerca attiva. Gli approcci precedenti hanno principalmente utilizzato il Reinforcement Learning da Feedback Umano (RLHF) tramite metodi di RL online come l'Optimizzazione Prossimale delle Politiche (PPO). Recentemente, metodi offline come la Calibrazione della Verosimiglianza delle Sequenze (SLiC) e l'Optimizzazione Diretta delle Preferenze (DPO) sono emersi come alternative attraenti, offrendo miglioramenti in termini di stabilità e scalabilità pur mantenendo prestazioni competitive. SLiC affina la sua funzione di perdita utilizzando coppie di sequenze campionate da una politica fine-tuned supervisionata (SFT), mentre DPO ottimizza direttamente i modelli linguistici basandosi sui dati di preferenza, eliminando la necessità di un modello di ricompensa separato. Tuttavia, lo stimatore di massima verosimiglianza (MLE) della politica ottimale target richiede coppie di preferenze etichettate campionate da quella politica. L'assenza di un modello di ricompensa in DPO limita la sua capacità di campionare coppie di preferenze dalla politica ottimale, e SLiC è limitato a campionare coppie di preferenze solo dalla politica SFT. Per affrontare queste limitazioni, introduciamo un nuovo approccio chiamato Optimizzazione del Campionamento per Rifiuto Statistico (RSO) che mira a ottenere dati di preferenza dalla politica ottimale target utilizzando il campionamento per rifiuto, consentendo una stima più accurata della politica ottimale. Proponiamo inoltre un framework unificato che migliora le funzioni di perdita utilizzate sia in SLiC che in DPO dal punto di vista della modellazione delle preferenze. Attraverso esperimenti estesi su tre compiti diversi, dimostriamo che RSO supera costantemente sia SLiC che DPO nelle valutazioni sia da parte di Modelli Linguistici di Grande Dimensione (LLM) che da valutatori umani.
English
Improving the alignment of language models with human preferences remains an
active research challenge. Previous approaches have primarily utilized
Reinforcement Learning from Human Feedback (RLHF) via online RL methods such as
Proximal Policy Optimization (PPO). Recently, offline methods such as Sequence
Likelihood Calibration (SLiC) and Direct Preference Optimization (DPO) have
emerged as attractive alternatives, offering improvements in stability and
scalability while maintaining competitive performance. SLiC refines its loss
function using sequence pairs sampled from a supervised fine-tuned (SFT)
policy, while DPO directly optimizes language models based on preference data,
foregoing the need for a separate reward model. However, the maximum likelihood
estimator (MLE) of the target optimal policy requires labeled preference pairs
sampled from that policy. DPO's lack of a reward model constrains its ability
to sample preference pairs from the optimal policy, and SLiC is restricted to
sampling preference pairs only from the SFT policy. To address these
limitations, we introduce a novel approach called Statistical Rejection
Sampling Optimization (RSO) that aims to source preference data from the target
optimal policy using rejection sampling, enabling a more accurate estimation of
the optimal policy. We also propose a unified framework that enhances the loss
functions used in both SLiC and DPO from a preference modeling standpoint.
Through extensive experiments across three diverse tasks, we demonstrate that
RSO consistently outperforms both SLiC and DPO on evaluations from both Large
Language Model (LLM) and human raters.