Voorbij Correctheid: Het Harmoniseren van Proces- en Resultaatbeloningen via RL-training

Beyond Correctness: Harmonizing Process and Outcome Rewards through RL Training

September 3, 2025

Auteurs: Chenlu Ye, Zhou Yu, Ziji Zhang, Hao Chen, Narayanan Sadagopan, Jing Huang, Tong Zhang, Anurag Beniwal

cs.AI

Samenvatting

Reinforcement learning met verifieerbare beloningen (RLVR) is uitgegroeid tot een dominant paradigma voor wiskundige redeneertaken, waarbij het stabiele verbeteringen biedt in redeneervaardigheid. Outcome Reward Models (ORMs) in RLVR zijn echter te grofkorrelig om gebrekkig redeneren binnen correcte antwoorden of geldig redeneren binnen incorrecte antwoorden te onderscheiden. Dit gebrek aan granulariteit introduceert aanzienlijk ruis en misleidende gradients, wat verdere vooruitgang in de kwaliteit van het redeneerproces belemmert. Hoewel Process Reward Models (PRMs) fijnmazige begeleiding bieden voor tussenstappen, lijden ze vaak aan onnauwkeurigheden en zijn ze vatbaar voor reward hacking. Om dit dilemma op te lossen, introduceren we PRocess cOnsistency Filter (PROF), een effectieve methode voor het cureren van gegevensprocessen die ruisige, fijnmazige procesbeloningen harmoniseert met nauwkeurige, grofkorrelige uitkomstbeloningen. In plaats van PRM en ORM naïef te combineren in de doelfunctie (arXiv:archive/2506.18896), benut PROF hun complementaire sterke punten door consistentiegestuurde steekproefselectie. Onze aanpak behoudt correcte antwoorden met hogere gemiddelde proceswaarden en incorrecte antwoorden met lagere gemiddelde proceswaarden, terwijl de balans tussen positieve en negatieve trainingsmonsters behouden blijft. Uitgebreide experimenten tonen aan dat onze methode niet alleen consistent de eindnauwkeurigheid met meer dan 4% verbetert ten opzichte van de combinatiebenaderingen, maar ook de kwaliteit van de tussenliggende redeneerstappen versterkt. Codes en trainingsrecepten zijn beschikbaar op https://github.com/Chenluye99/PROF.

English

Reinforcement learning with verifiable rewards (RLVR) has emerged to be a predominant paradigm for mathematical reasoning tasks, offering stable improvements in reasoning ability. However, Outcome Reward Models (ORMs) in RLVR are too coarse-grained to distinguish flawed reasoning within correct answers or valid reasoning within incorrect answers. This lack of granularity introduces noisy and misleading gradients significantly and hinders further progress in reasoning process quality. While Process Reward Models (PRMs) offer fine-grained guidance for intermediate steps, they frequently suffer from inaccuracies and are susceptible to reward hacking. To resolve this dilemma, we introduce PRocess cOnsistency Filter (PROF), an effective data process curation method that harmonizes noisy, fine-grained process rewards with accurate, coarse-grained outcome rewards. Rather than naively blending PRM and ORM in the objective function (arXiv:archive/2506.18896), PROF leverages their complementary strengths through consistency-driven sample selection. Our approach retains correct responses with higher averaged process values and incorrect responses with lower averaged process values, while maintaining positive/negative training sample balance. Extensive experiments demonstrate that our method not only consistently improves the final accuracy over 4% compared to the blending approaches, but also strengthens the quality of intermediate reasoning steps. Codes and training recipes are available at https://github.com/Chenluye99/PROF.