RLBFF : Retour binaire flexible pour établir un pont entre le retour humain et les récompenses vérifiables

papers.abstract

L’apprentissage par renforcement avec retour humain (RLHF) et l’apprentissage par renforcement avec récompenses vérifiables (RLVR) sont les principaux paradigmes de RL utilisés dans le post-entraînement des modèles de langage (LLM), chacun offrant des avantages distincts. Cependant, le RLHF rencontre des difficultés en matière d’interprétabilité et de manipulation des récompenses, car il repose sur des jugements humains qui manquent généralement de critères explicites, tandis que le RLVR est limité dans sa portée par son accent sur des vérificateurs basés sur la justesse. Nous proposons l’apprentissage par renforcement avec retour binaire flexible (RLBFF), qui combine la polyvalence des préférences pilotées par l’humain avec la précision de la vérification basée sur des règles, permettant aux modèles de récompense de capturer des aspects nuancés de la qualité des réponses au-delà de la simple justesse. Le RLBFF extrait des principes pouvant être évalués de manière binaire (par exemple, l’exactitude de l’information : oui, ou la lisibilité du code : non) à partir de retours en langage naturel. Ces principes peuvent ensuite être utilisés pour ancrer l’entraînement des modèles de récompense en tant que tâche d’inférence (la réponse satisfait ou ne satisfait pas un principe arbitraire). Nous montrons que les modèles de récompense entraînés de cette manière surpassent les modèles Bradley-Terry lorsque les données sont comparables et atteignent des performances de pointe sur RM-Bench (86,2 %) et JudgeBench (81,4 %, #1 au classement au 24 septembre 2025). De plus, les utilisateurs peuvent spécifier des principes d’intérêt au moment de l’inférence pour personnaliser l’orientation de nos modèles de récompense, contrairement aux modèles Bradley-Terry. Enfin, nous présentons une recette entièrement open source (incluant les données) pour aligner Qwen3-32B en utilisant le RLBFF et notre modèle de récompense, afin d’égaler ou de surpasser les performances d’o3-mini et de DeepSeek R1 sur les benchmarks généraux d’alignement de MT-Bench, WildBench et Arena Hard v2 (à moins de 5 % du coût d’inférence).

English

Reinforcement Learning with Human Feedback (RLHF) and Reinforcement Learning with Verifiable Rewards (RLVR) are the main RL paradigms used in LLM post-training, each offering distinct advantages. However, RLHF struggles with interpretability and reward hacking because it relies on human judgments that usually lack explicit criteria, whereas RLVR is limited in scope by its focus on correctness-based verifiers. We propose Reinforcement Learning with Binary Flexible Feedback (RLBFF), which combines the versatility of human-driven preferences with the precision of rule-based verification, enabling reward models to capture nuanced aspects of response quality beyond mere correctness. RLBFF extracts principles that can be answered in a binary fashion (e.g. accuracy of information: yes, or code readability: no) from natural language feedback. Such principles can then be used to ground Reward Model training as an entailment task (response satisfies or does not satisfy an arbitrary principle). We show that Reward Models trained in this manner can outperform Bradley-Terry models when matched for data and achieve top performance on RM-Bench (86.2%) and JudgeBench (81.4%, #1 on leaderboard as of September 24, 2025). Additionally, users can specify principles of interest at inference time to customize the focus of our reward models, in contrast to Bradley-Terry models. Finally, we present a fully open source recipe (including data) to align Qwen3-32B using RLBFF and our Reward Model, to match or exceed the performance of o3-mini and DeepSeek R1 on general alignment benchmarks of MT-Bench, WildBench, and Arena Hard v2 (at <5% of the inference cost).

RLBFF : Retour binaire flexible pour établir un pont entre le retour humain et les récompenses vérifiables

RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards

papers.abstract

Support