Jenseits der Korrektheit: Harmonisierung von Prozess- und Ergebnisbelohnungen durch RL-Training

Beyond Correctness: Harmonizing Process and Outcome Rewards through RL Training

September 3, 2025

papers.authors: Chenlu Ye, Zhou Yu, Ziji Zhang, Hao Chen, Narayanan Sadagopan, Jing Huang, Tong Zhang, Anurag Beniwal

cs.AI

papers.abstract

Verstärkungslernen mit verifizierbaren Belohnungen (RLVR) hat sich als vorherrschendes Paradigma für mathematische Denkaufgaben etabliert und bietet stabile Verbesserungen der Denkfähigkeit. Allerdings sind Outcome Reward Models (ORMs) in RLVR zu grobkörnig, um fehlerhaftes Denken innerhalb korrekter Antworten oder gültiges Denken innerhalb falscher Antworten zu unterscheiden. Dieser Mangel an Granularität führt zu erheblich verrauschten und irreführenden Gradienten und behindert weitere Fortschritte in der Qualität des Denkprozesses. Während Process Reward Models (PRMs) feinkörnige Anleitung für Zwischenschritte bieten, leiden sie häufig unter Ungenauigkeiten und sind anfällig für Reward Hacking. Um dieses Dilemma zu lösen, führen wir den PRocess cOnsistency Filter (PROF) ein, eine effektive Methode zur Datenprozesskuratierung, die verrauschte, feinkörnige Prozessbelohnungen mit genauen, grobkörnigen Ergebnisbelohnungen harmonisiert. Anstatt PRM und ORM naiv in der Zielfunktion zu vermischen (arXiv:archive/2506.18896), nutzt PROF ihre komplementären Stärken durch konsistenzgetriebene Probenauswahl. Unser Ansatz behält korrekte Antworten mit höheren durchschnittlichen Prozesswerten und falsche Antworten mit niedrigeren durchschnittlichen Prozesswerten bei, während das Gleichgewicht zwischen positiven und negativen Trainingsproben erhalten bleibt. Umfangreiche Experimente zeigen, dass unsere Methode nicht nur die Endgenauigkeit im Vergleich zu den Mischansätzen um über 4 % verbessert, sondern auch die Qualität der Zwischenschritte im Denkprozess stärkt. Codes und Trainingsrezepte sind unter https://github.com/Chenluye99/PROF verfügbar.

English

Reinforcement learning with verifiable rewards (RLVR) has emerged to be a predominant paradigm for mathematical reasoning tasks, offering stable improvements in reasoning ability. However, Outcome Reward Models (ORMs) in RLVR are too coarse-grained to distinguish flawed reasoning within correct answers or valid reasoning within incorrect answers. This lack of granularity introduces noisy and misleading gradients significantly and hinders further progress in reasoning process quality. While Process Reward Models (PRMs) offer fine-grained guidance for intermediate steps, they frequently suffer from inaccuracies and are susceptible to reward hacking. To resolve this dilemma, we introduce PRocess cOnsistency Filter (PROF), an effective data process curation method that harmonizes noisy, fine-grained process rewards with accurate, coarse-grained outcome rewards. Rather than naively blending PRM and ORM in the objective function (arXiv:archive/2506.18896), PROF leverages their complementary strengths through consistency-driven sample selection. Our approach retains correct responses with higher averaged process values and incorrect responses with lower averaged process values, while maintaining positive/negative training sample balance. Extensive experiments demonstrate that our method not only consistently improves the final accuracy over 4% compared to the blending approaches, but also strengthens the quality of intermediate reasoning steps. Codes and training recipes are available at https://github.com/Chenluye99/PROF.