対照的選好学習：強化学習を用いずに人間のフィードバックから学習する

Contrastive Prefence Learning: Learning from Human Feedback without RL

October 20, 2023

著者: Joey Hejna, Rafael Rafailov, Harshit Sikchi, Chelsea Finn, Scott Niekum, W. Bradley Knox, Dorsa Sadigh

cs.AI

要旨

人間のフィードバックからの強化学習（RLHF）は、モデルを人間の意図に合わせるための一般的なパラダイムとして登場しました。通常、RLHFアルゴリズムは2つのフェーズで動作します。まず、人間の選好を利用して報酬関数を学習し、次に、学習した報酬を強化学習（RL）によって最適化することでモデルを調整します。このパラダイムは、人間の選好が報酬に従って分布していると仮定していますが、最近の研究では、それらはむしろユーザーの最適方策における後悔に従うことが示唆されています。したがって、フィードバックから報酬関数を学習することは、人間の選好に関する誤った仮定に基づいているだけでなく、RLフェーズにおける方策勾配やブートストラップに起因する扱いにくい最適化課題を引き起こします。これらの最適化課題のため、現代のRLHF手法は、文脈的バンディット設定（例えば、大規模言語モデル）に限定されるか、観測次元を制限します（例えば、状態ベースのロボティクス）。私たちは、人間の選好に基づく後悔モデルを使用して、人間のフィードバックから行動を最適化する新しいアルゴリズムのファミリーを導入することで、これらの制限を克服します。最大エントロピーの原理を使用して、報酬関数を学習せずに選好から最適方策を学習するアルゴリズムであるContrastive Preference Learning（CPL）を導出し、RLの必要性を回避します。CPLは完全にオフポリシーであり、単純なコントラスティブ目的関数のみを使用し、任意のMDPに適用できます。これにより、CPLは高次元かつ逐次のRLHF問題にエレガントにスケールすることが可能であり、従来の手法よりもシンプルです。

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a popular paradigm for aligning models with human intent. Typically RLHF algorithms operate in two phases: first, use human preferences to learn a reward function and second, align the model by optimizing the learned reward via reinforcement learning (RL). This paradigm assumes that human preferences are distributed according to reward, but recent work suggests that they instead follow the regret under the user's optimal policy. Thus, learning a reward function from feedback is not only based on a flawed assumption of human preference, but also leads to unwieldy optimization challenges that stem from policy gradients or bootstrapping in the RL phase. Because of these optimization challenges, contemporary RLHF methods restrict themselves to contextual bandit settings (e.g., as in large language models) or limit observation dimensionality (e.g., state-based robotics). We overcome these limitations by introducing a new family of algorithms for optimizing behavior from human feedback using the regret-based model of human preferences. Using the principle of maximum entropy, we derive Contrastive Preference Learning (CPL), an algorithm for learning optimal policies from preferences without learning reward functions, circumventing the need for RL. CPL is fully off-policy, uses only a simple contrastive objective, and can be applied to arbitrary MDPs. This enables CPL to elegantly scale to high-dimensional and sequential RLHF problems while being simpler than prior methods.