RLBFF: 人間のフィードバックと検証可能な報酬を橋渡しするバイナリ柔軟フィードバック

要旨

人間フィードバックを用いた強化学習（RLHF）と検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）のポストトレーニングにおいて主要な強化学習パラダイムであり、それぞれ異なる利点を提供する。しかし、RLHFは人間の判断に依存するため、通常は明示的な基準を欠いており、解釈可能性と報酬ハッキングの問題に直面する。一方、RLVRは正確性に基づく検証器に焦点を当てているため、その適用範囲が限定される。本論文では、人間主導の選好の汎用性とルールベースの検証の精度を組み合わせた二値柔軟フィードバックを用いた強化学習（RLBFF）を提案する。RLBFFは、自然言語フィードバックから二値で回答可能な原則（例：情報の正確性：はい、またはコードの可読性：いいえ）を抽出し、その原則を用いて報酬モデルのトレーニングをエンタイトルメントタスク（応答が任意の原則を満たすか否か）として基礎付ける。この方法でトレーニングされた報酬モデルは、データ量が同等の場合にBradley-Terryモデルを上回り、RM-Bench（86.2%）およびJudgeBench（81.4%、2025年9月24日時点でリーダーボード1位）で最高の性能を達成することを示す。さらに、推論時にユーザーが関心のある原則を指定することで、報酬モデルの焦点をカスタマイズできる点がBradley-Terryモデルとの違いである。最後に、RLBFFと我々の報酬モデルを用いてQwen3-32Bを調整し、MT-Bench、WildBench、およびArena Hard v2の一般的なアライメントベンチマークにおいてo3-miniおよびDeepSeek R1の性能に匹敵またはそれを上回る性能を達成するための完全なオープンソースレシピ（データを含む）を提示する（推論コストの5%未満で）。

English

Reinforcement Learning with Human Feedback (RLHF) and Reinforcement Learning with Verifiable Rewards (RLVR) are the main RL paradigms used in LLM post-training, each offering distinct advantages. However, RLHF struggles with interpretability and reward hacking because it relies on human judgments that usually lack explicit criteria, whereas RLVR is limited in scope by its focus on correctness-based verifiers. We propose Reinforcement Learning with Binary Flexible Feedback (RLBFF), which combines the versatility of human-driven preferences with the precision of rule-based verification, enabling reward models to capture nuanced aspects of response quality beyond mere correctness. RLBFF extracts principles that can be answered in a binary fashion (e.g. accuracy of information: yes, or code readability: no) from natural language feedback. Such principles can then be used to ground Reward Model training as an entailment task (response satisfies or does not satisfy an arbitrary principle). We show that Reward Models trained in this manner can outperform Bradley-Terry models when matched for data and achieve top performance on RM-Bench (86.2%) and JudgeBench (81.4%, #1 on leaderboard as of September 24, 2025). Additionally, users can specify principles of interest at inference time to customize the focus of our reward models, in contrast to Bradley-Terry models. Finally, we present a fully open source recipe (including data) to align Qwen3-32B using RLBFF and our Reward Model, to match or exceed the performance of o3-mini and DeepSeek R1 on general alignment benchmarks of MT-Bench, WildBench, and Arena Hard v2 (at <5% of the inference cost).

RLBFF: 人間のフィードバックと検証可能な報酬を橋渡しするバイナリ柔軟フィードバック

RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards

要旨

Support