PILAF: 報酬モデリングのための最適な人間の選好サンプリング

PILAF: Optimal Human Preference Sampling for Reward Modeling

February 6, 2025

著者: Yunzhen Feng, Ariel Kwiatkowski, Kunhao Zheng, Julia Kempe, Yaqi Duan

cs.AI

要旨

大規模言語モデルが現実世界のアプリケーションをますます推進する中、人間の価値観との調整が極めて重要となります。人間の価値観がオラクルでアクセスできない場合、人間のフィードバックからの強化学習（RLHF）が主要な手法として登場しています。実践では、RLHF は主に近似報酬モデルに依存しており、これらは方針を一貫して最大化する人間の価値観に導かない可能性があります。私たちは、アラインメントされたフィードバックのためのポリシー補間学習（PILAF）を提案します。これは、好みのデータを報酬モデルに変換する新しい応答サンプリング戦略であり、明示的に好みの学習をオラクル報酬の最大化と整合させます。PILAF は理論的に基礎があり、最適化と統計の観点から最適性を示しています。この手法は実装が簡単であり、フィードバックのキュレーションが重要な反復的およびオンラインのRLHF設定で強力なパフォーマンスを示しています。

English

As large language models increasingly drive real-world applications, aligning them with human values becomes paramount. Reinforcement Learning from Human Feedback (RLHF) has emerged as a key technique, translating preference data into reward models when oracle human values remain inaccessible. In practice, RLHF mostly relies on approximate reward models, which may not consistently guide the policy toward maximizing the underlying human values. We propose Policy-Interpolated Learning for Aligned Feedback (PILAF), a novel response sampling strategy for preference labeling that explicitly aligns preference learning with maximizing the underlying oracle reward. PILAF is theoretically grounded, demonstrating optimality from both an optimization and a statistical perspective. The method is straightforward to implement and demonstrates strong performance in iterative and online RLHF settings where feedback curation is critical.