Au-delà de la correction : Harmoniser les récompenses de processus et de résultats grâce à l'apprentissage par renforcement

Beyond Correctness: Harmonizing Process and Outcome Rewards through RL Training

September 3, 2025

papers.authors: Chenlu Ye, Zhou Yu, Ziji Zhang, Hao Chen, Narayanan Sadagopan, Jing Huang, Tong Zhang, Anurag Beniwal

cs.AI

papers.abstract

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu un paradigme prédominant pour les tâches de raisonnement mathématique, offrant des améliorations stables des capacités de raisonnement. Cependant, les modèles de récompense basés sur les résultats (ORMs) dans le RLVR sont trop grossiers pour distinguer un raisonnement erroné au sein de réponses correctes ou un raisonnement valide au sein de réponses incorrectes. Ce manque de granularité introduit des gradients bruyants et trompeurs de manière significative, entravant ainsi les progrès ultérieurs dans la qualité du processus de raisonnement. Bien que les modèles de récompense basés sur le processus (PRMs) offrent un guidage granulaire pour les étapes intermédiaires, ils souffrent fréquemment d'inexactitudes et sont susceptibles de subir des manipulations de récompense. Pour résoudre ce dilemme, nous introduisons le filtre de cohérence de processus (PROF), une méthode efficace de curation des données qui harmonise les récompenses de processus granulaires mais bruyantes avec les récompenses de résultats grossières mais précises. Plutôt que de mélanger naïvement les PRM et ORM dans la fonction objectif (arXiv:archive/2506.18896), PROF exploite leurs forces complémentaires grâce à une sélection d'échantillons guidée par la cohérence. Notre approche conserve les réponses correctes avec des valeurs de processus moyennes plus élevées et les réponses incorrectes avec des valeurs de processus moyennes plus basses, tout en maintenant un équilibre entre les échantillons d'entraînement positifs et négatifs. Des expériences approfondies démontrent que notre méthode améliore non seulement la précision finale de plus de 4 % par rapport aux approches de mélange, mais renforce également la qualité des étapes intermédiaires de raisonnement. Les codes et les recettes d'entraînement sont disponibles à l'adresse https://github.com/Chenluye99/PROF.

English

Reinforcement learning with verifiable rewards (RLVR) has emerged to be a predominant paradigm for mathematical reasoning tasks, offering stable improvements in reasoning ability. However, Outcome Reward Models (ORMs) in RLVR are too coarse-grained to distinguish flawed reasoning within correct answers or valid reasoning within incorrect answers. This lack of granularity introduces noisy and misleading gradients significantly and hinders further progress in reasoning process quality. While Process Reward Models (PRMs) offer fine-grained guidance for intermediate steps, they frequently suffer from inaccuracies and are susceptible to reward hacking. To resolve this dilemma, we introduce PRocess cOnsistency Filter (PROF), an effective data process curation method that harmonizes noisy, fine-grained process rewards with accurate, coarse-grained outcome rewards. Rather than naively blending PRM and ORM in the objective function (arXiv:archive/2506.18896), PROF leverages their complementary strengths through consistency-driven sample selection. Our approach retains correct responses with higher averaged process values and incorrect responses with lower averaged process values, while maintaining positive/negative training sample balance. Extensive experiments demonstrate that our method not only consistently improves the final accuracy over 4% compared to the blending approaches, but also strengthens the quality of intermediate reasoning steps. Codes and training recipes are available at https://github.com/Chenluye99/PROF.