RLBFF: Бинарная гибкая обратная связь для соединения человеческой обратной связи и проверяемых вознаграждений

Аннотация

Обучение с подкреплением с использованием человеческой обратной связи (RLHF) и обучение с подкреплением с проверяемыми наградами (RLVR) являются основными парадигмами RL, используемыми в пост-обучении крупных языковых моделей (LLM), каждая из которых предлагает свои преимущества. Однако RLHF сталкивается с проблемами интерпретируемости и манипуляции наградами, поскольку полагается на человеческие суждения, которые обычно не имеют явных критериев, тогда как RLVR ограничен в охвате из-за своей ориентации на проверки, основанные на корректности. Мы предлагаем обучение с подкреплением с бинарной гибкой обратной связью (RLBFF), которое сочетает универсальность предпочтений, задаваемых человеком, с точностью проверок на основе правил, позволяя моделям наград учитывать тонкие аспекты качества ответов, выходящие за рамки простой корректности. RLBFF извлекает принципы, которые могут быть оценены бинарно (например, точность информации: да, или читаемость кода: нет) из естественно-языковой обратной связи. Такие принципы затем могут быть использованы для обучения модели наград как задачи вывода (ответ удовлетворяет или не удовлетворяет произвольному принципу). Мы показываем, что модели наград, обученные таким образом, могут превосходить модели Брэдли-Терри при равных объемах данных и достигают наивысших результатов на RM-Bench (86,2%) и JudgeBench (81,4%, первое место в рейтинге на 24 сентября 2025 года). Кроме того, пользователи могут указывать интересующие их принципы на этапе вывода, чтобы настроить фокус наших моделей наград, в отличие от моделей Брэдли-Терри. Наконец, мы представляем полностью открытый рецепт (включая данные) для выравнивания модели Qwen3-32B с использованием RLBFF и нашей модели наград, чтобы достичь или превзойти производительность o3-mini и DeepSeek R1 на общих бенчмарках выравнивания MT-Bench, WildBench и Arena Hard v2 (при затратах на вывод менее 5%).

English

Reinforcement Learning with Human Feedback (RLHF) and Reinforcement Learning with Verifiable Rewards (RLVR) are the main RL paradigms used in LLM post-training, each offering distinct advantages. However, RLHF struggles with interpretability and reward hacking because it relies on human judgments that usually lack explicit criteria, whereas RLVR is limited in scope by its focus on correctness-based verifiers. We propose Reinforcement Learning with Binary Flexible Feedback (RLBFF), which combines the versatility of human-driven preferences with the precision of rule-based verification, enabling reward models to capture nuanced aspects of response quality beyond mere correctness. RLBFF extracts principles that can be answered in a binary fashion (e.g. accuracy of information: yes, or code readability: no) from natural language feedback. Such principles can then be used to ground Reward Model training as an entailment task (response satisfies or does not satisfy an arbitrary principle). We show that Reward Models trained in this manner can outperform Bradley-Terry models when matched for data and achieve top performance on RM-Bench (86.2%) and JudgeBench (81.4%, #1 on leaderboard as of September 24, 2025). Additionally, users can specify principles of interest at inference time to customize the focus of our reward models, in contrast to Bradley-Terry models. Finally, we present a fully open source recipe (including data) to align Qwen3-32B using RLBFF and our Reward Model, to match or exceed the performance of o3-mini and DeepSeek R1 on general alignment benchmarks of MT-Bench, WildBench, and Arena Hard v2 (at <5% of the inference cost).

RLBFF: Бинарная гибкая обратная связь для соединения человеческой обратной связи и проверяемых вознаграждений

RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards

Аннотация

Support