За пределами правильности: гармонизация вознаграждений за процесс и результат через обучение с подкреплением

Beyond Correctness: Harmonizing Process and Outcome Rewards through RL Training

September 3, 2025

Авторы: Chenlu Ye, Zhou Yu, Ziji Zhang, Hao Chen, Narayanan Sadagopan, Jing Huang, Tong Zhang, Anurag Beniwal

cs.AI

Аннотация

Обучение с подкреплением с верифицируемыми наградами (RLVR) стало преобладающей парадигмой для задач математического рассуждения, обеспечивая стабильное улучшение способности к рассуждению. Однако модели наград на основе результата (ORM) в RLVR слишком грубо детализированы, чтобы различать ошибочные рассуждения в правильных ответах или корректные рассуждения в неправильных ответах. Этот недостаток детализации вносит значительный шум и вводит в заблуждение градиенты, что существенно затрудняет дальнейшее улучшение качества процесса рассуждения. Хотя модели наград на основе процесса (PRM) предлагают детализированное руководство для промежуточных шагов, они часто страдают от неточностей и подвержены манипуляциям с наградами. Для решения этой проблемы мы представляем фильтр согласованности процесса (PROF) — эффективный метод обработки данных, который гармонизирует шумные, детализированные награды за процесс с точными, грубо детализированными наградами за результат. Вместо простого смешивания PRM и ORM в целевой функции (arXiv:archive/2506.18896), PROF использует их взаимодополняющие преимущества через выборку данных, основанную на согласованности. Наш подход сохраняет правильные ответы с более высокими средними значениями процесса и неправильные ответы с более низкими средними значениями процесса, при этом поддерживая баланс положительных и отрицательных обучающих выборок. Многочисленные эксперименты показывают, что наш метод не только стабильно улучшает итоговую точность более чем на 4% по сравнению с подходами смешивания, но и повышает качество промежуточных шагов рассуждения. Код и рецепты обучения доступны по адресу https://github.com/Chenluye99/PROF.

English

Reinforcement learning with verifiable rewards (RLVR) has emerged to be a predominant paradigm for mathematical reasoning tasks, offering stable improvements in reasoning ability. However, Outcome Reward Models (ORMs) in RLVR are too coarse-grained to distinguish flawed reasoning within correct answers or valid reasoning within incorrect answers. This lack of granularity introduces noisy and misleading gradients significantly and hinders further progress in reasoning process quality. While Process Reward Models (PRMs) offer fine-grained guidance for intermediate steps, they frequently suffer from inaccuracies and are susceptible to reward hacking. To resolve this dilemma, we introduce PRocess cOnsistency Filter (PROF), an effective data process curation method that harmonizes noisy, fine-grained process rewards with accurate, coarse-grained outcome rewards. Rather than naively blending PRM and ORM in the objective function (arXiv:archive/2506.18896), PROF leverages their complementary strengths through consistency-driven sample selection. Our approach retains correct responses with higher averaged process values and incorrect responses with lower averaged process values, while maintaining positive/negative training sample balance. Extensive experiments demonstrate that our method not only consistently improves the final accuracy over 4% compared to the blending approaches, but also strengthens the quality of intermediate reasoning steps. Codes and training recipes are available at https://github.com/Chenluye99/PROF.