統計的棄却サンプリングによる選好最適化の改善

要旨

言語モデルの人間の選好との整合性を向上させることは、依然として活発な研究課題です。従来のアプローチでは、主にProximal Policy Optimization (PPO)などのオンライン強化学習手法を用いた人間のフィードバックからの強化学習（RLHF）が利用されてきました。最近では、Sequence Likelihood Calibration (SLiC)やDirect Preference Optimization (DPO)といったオフライン手法が、安定性と拡張性を向上させつつ競争力のある性能を維持する魅力的な代替手段として登場しています。SLiCは、教師ありファインチューニング（SFT）ポリシーからサンプリングされたシーケンスペアを使用して損失関数を改良し、DPOは報酬モデルを必要とせずに選好データに基づいて言語モデルを直接最適化します。しかし、目標とする最適ポリシーの最尤推定（MLE）には、そのポリシーからサンプリングされたラベル付き選好ペアが必要です。DPOは報酬モデルを持たないため、最適ポリシーから選好ペアをサンプリングする能力が制限され、SLiCはSFTポリシーからのみ選好ペアをサンプリングすることに制約されています。これらの制限に対処するため、我々は拒否サンプリングを使用して目標最適ポリシーから選好データを取得することを目指す新しいアプローチ、Statistical Rejection Sampling Optimization (RSO)を導入し、最適ポリシーのより正確な推定を可能にします。また、選好モデリングの観点からSLiCとDPOの両方で使用される損失関数を強化する統一フレームワークを提案します。3つの多様なタスクにわたる広範な実験を通じて、RSOが大規模言語モデル（LLM）と人間の評価者の両方の評価において、SLiCとDPOを一貫して上回ることを実証します。

English

Improving the alignment of language models with human preferences remains an active research challenge. Previous approaches have primarily utilized Reinforcement Learning from Human Feedback (RLHF) via online RL methods such as Proximal Policy Optimization (PPO). Recently, offline methods such as Sequence Likelihood Calibration (SLiC) and Direct Preference Optimization (DPO) have emerged as attractive alternatives, offering improvements in stability and scalability while maintaining competitive performance. SLiC refines its loss function using sequence pairs sampled from a supervised fine-tuned (SFT) policy, while DPO directly optimizes language models based on preference data, foregoing the need for a separate reward model. However, the maximum likelihood estimator (MLE) of the target optimal policy requires labeled preference pairs sampled from that policy. DPO's lack of a reward model constrains its ability to sample preference pairs from the optimal policy, and SLiC is restricted to sampling preference pairs only from the SFT policy. To address these limitations, we introduce a novel approach called Statistical Rejection Sampling Optimization (RSO) that aims to source preference data from the target optimal policy using rejection sampling, enabling a more accurate estimation of the optimal policy. We also propose a unified framework that enhances the loss functions used in both SLiC and DPO from a preference modeling standpoint. Through extensive experiments across three diverse tasks, we demonstrate that RSO consistently outperforms both SLiC and DPO on evaluations from both Large Language Model (LLM) and human raters.

統計的棄却サンプリングによる選好最適化の改善

Statistical Rejection Sampling Improves Preference Optimization

要旨

Support