RLBFF: Feedback Binário Flexível para conectar Feedback Humano e Recompensas Verificáveis

Resumo

O Aprendizado por Reforço com Feedback Humano (RLHF) e o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) são os principais paradigmas de RL utilizados no pós-treinamento de LLMs, cada um oferecendo vantagens distintas. No entanto, o RLHF enfrenta desafios de interpretabilidade e manipulação de recompensas, pois depende de julgamentos humanos que geralmente carecem de critérios explícitos, enquanto o RLVR é limitado em escopo devido ao seu foco em verificadores baseados em correção. Propomos o Aprendizado por Reforço com Feedback Binário Flexível (RLBFF), que combina a versatilidade das preferências orientadas por humanos com a precisão da verificação baseada em regras, permitindo que modelos de recompensa capturem aspectos sutis da qualidade da resposta além da mera correção. O RLBFF extrai princípios que podem ser respondidos de forma binária (por exemplo, precisão da informação: sim, ou legibilidade do código: não) a partir de feedback em linguagem natural. Esses princípios podem então ser usados para fundamentar o treinamento do Modelo de Recompensa como uma tarefa de implicação (a resposta satisfaz ou não satisfaz um princípio arbitrário). Mostramos que Modelos de Recompensa treinados dessa maneira podem superar modelos Bradley-Terry quando comparados em termos de dados e alcançar desempenho superior no RM-Bench (86,2%) e no JudgeBench (81,4%, #1 no ranking em 24 de setembro de 2025). Além disso, os usuários podem especificar princípios de interesse no momento da inferência para personalizar o foco dos nossos modelos de recompensa, em contraste com os modelos Bradley-Terry. Por fim, apresentamos uma receita totalmente de código aberto (incluindo dados) para alinhar o Qwen3-32B usando RLBFF e nosso Modelo de Recompensa, para igualar ou superar o desempenho do o3-mini e do DeepSeek R1 em benchmarks gerais de alinhamento como MT-Bench, WildBench e Arena Hard v2 (com menos de 5% do custo de inferência).

English

Reinforcement Learning with Human Feedback (RLHF) and Reinforcement Learning with Verifiable Rewards (RLVR) are the main RL paradigms used in LLM post-training, each offering distinct advantages. However, RLHF struggles with interpretability and reward hacking because it relies on human judgments that usually lack explicit criteria, whereas RLVR is limited in scope by its focus on correctness-based verifiers. We propose Reinforcement Learning with Binary Flexible Feedback (RLBFF), which combines the versatility of human-driven preferences with the precision of rule-based verification, enabling reward models to capture nuanced aspects of response quality beyond mere correctness. RLBFF extracts principles that can be answered in a binary fashion (e.g. accuracy of information: yes, or code readability: no) from natural language feedback. Such principles can then be used to ground Reward Model training as an entailment task (response satisfies or does not satisfy an arbitrary principle). We show that Reward Models trained in this manner can outperform Bradley-Terry models when matched for data and achieve top performance on RM-Bench (86.2%) and JudgeBench (81.4%, #1 on leaderboard as of September 24, 2025). Additionally, users can specify principles of interest at inference time to customize the focus of our reward models, in contrast to Bradley-Terry models. Finally, we present a fully open source recipe (including data) to align Qwen3-32B using RLBFF and our Reward Model, to match or exceed the performance of o3-mini and DeepSeek R1 on general alignment benchmarks of MT-Bench, WildBench, and Arena Hard v2 (at <5% of the inference cost).

RLBFF: Feedback Binário Flexível para conectar Feedback Humano e Recompensas Verificáveis

RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards

Resumo

Support