RLBFF: Binärer flexibler Feedback-Mechanismus zur Brücke zwischen menschlichem Feedback und überprüfbaren Belohnungen

RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards

September 25, 2025

papers.authors: Zhilin Wang, Jiaqi Zeng, Olivier Delalleau, Ellie Evans, Daniel Egert, Hoo-Chang Shin, Felipe Soares, Yi Dong, Oleksii Kuchaiev

cs.AI

papers.abstract

Reinforcement Learning with Human Feedback (RLHF) und Reinforcement Learning with Verifiable Rewards (RLVR) sind die wichtigsten RL-Paradigmen, die im Post-Training von LLMs eingesetzt werden, wobei jedes spezifische Vorteile bietet. Allerdings kämpft RLHF mit Interpretierbarkeit und Reward Hacking, da es auf menschliche Urteile angewiesen ist, denen in der Regel explizite Kriterien fehlen, während RLVR in seinem Anwendungsbereich durch den Fokus auf korrektheitsbasierte Verifizierer eingeschränkt ist. Wir schlagen Reinforcement Learning with Binary Flexible Feedback (RLBFF) vor, das die Vielseitigkeit menschlich gesteuerter Präferenzen mit der Präzision regelbasierter Verifikation kombiniert und es Belohnungsmodellen ermöglicht, nuancenreiche Aspekte der Antwortqualität über bloße Korrektheit hinaus zu erfassen. RLBFF extrahiert Prinzipien, die binär beantwortet werden können (z. B. Genauigkeit der Informationen: ja, oder Lesbarkeit des Codes: nein) aus natürlichem Sprachfeedback. Solche Prinzipien können dann verwendet werden, um das Training von Belohnungsmodellen als eine Entailment-Aufgabe zu fundieren (Antwort erfüllt oder erfüllt nicht ein beliebiges Prinzip). Wir zeigen, dass auf diese Weise trainierte Belohnungsmodelle Bradley-Terry-Modelle übertreffen können, wenn sie in Bezug auf die Daten verglichen werden, und Spitzenleistungen auf RM-Bench (86,2 %) und JudgeBench (81,4 %, Platz 1 in der Bestenliste zum 24. September 2025) erzielen. Darüber hinaus können Benutzer zum Zeitpunkt der Inferenz Prinzipien von Interesse angeben, um den Fokus unserer Belohnungsmodelle anzupassen, im Gegensatz zu Bradley-Terry-Modellen. Schließlich präsentieren wir ein vollständig quelloffenes Rezept (einschließlich Daten), um Qwen3-32B mit RLBFF und unserem Belohnungsmodell auszurichten, um die Leistung von o3-mini und DeepSeek R1 auf allgemeinen Ausrichtungs-Benchmarks wie MT-Bench, WildBench und Arena Hard v2 zu erreichen oder zu übertreffen (bei <5 % der Inferenzkosten).

English

Reinforcement Learning with Human Feedback (RLHF) and Reinforcement Learning with Verifiable Rewards (RLVR) are the main RL paradigms used in LLM post-training, each offering distinct advantages. However, RLHF struggles with interpretability and reward hacking because it relies on human judgments that usually lack explicit criteria, whereas RLVR is limited in scope by its focus on correctness-based verifiers. We propose Reinforcement Learning with Binary Flexible Feedback (RLBFF), which combines the versatility of human-driven preferences with the precision of rule-based verification, enabling reward models to capture nuanced aspects of response quality beyond mere correctness. RLBFF extracts principles that can be answered in a binary fashion (e.g. accuracy of information: yes, or code readability: no) from natural language feedback. Such principles can then be used to ground Reward Model training as an entailment task (response satisfies or does not satisfy an arbitrary principle). We show that Reward Models trained in this manner can outperform Bradley-Terry models when matched for data and achieve top performance on RM-Bench (86.2%) and JudgeBench (81.4%, #1 on leaderboard as of September 24, 2025). Additionally, users can specify principles of interest at inference time to customize the focus of our reward models, in contrast to Bradley-Terry models. Finally, we present a fully open source recipe (including data) to align Qwen3-32B using RLBFF and our Reward Model, to match or exceed the performance of o3-mini and DeepSeek R1 on general alignment benchmarks of MT-Bench, WildBench, and Arena Hard v2 (at <5% of the inference cost).