Oltre la correttezza: armonizzazione delle ricompense di processo e risultato attraverso l'addestramento con RL

Beyond Correctness: Harmonizing Process and Outcome Rewards through RL Training

September 3, 2025

Autori: Chenlu Ye, Zhou Yu, Ziji Zhang, Hao Chen, Narayanan Sadagopan, Jing Huang, Tong Zhang, Anurag Beniwal

cs.AI

Abstract

L'apprendimento per rinforzo con ricompense verificabili (RLVR) è emerso come un paradigma predominante per i compiti di ragionamento matematico, offrendo miglioramenti stabili nelle capacità di ragionamento. Tuttavia, i Modelli di Ricompensa basati sul Risultato (ORMs) nell'RLVR sono troppo grossolani per distinguere ragionamenti imperfetti all'interno di risposte corrette o ragionamenti validi all'interno di risposte errate. Questa mancanza di granularità introduce gradienti rumorosi e fuorvianti in modo significativo e ostacola ulteriori progressi nella qualità del processo di ragionamento. Sebbene i Modelli di Ricompensa basati sul Processo (PRMs) offrano una guida granulare per i passaggi intermedi, spesso soffrono di inesattezze e sono suscettibili al reward hacking. Per risolvere questo dilemma, introduciamo il Filtro di Consistenza del Processo (PROF), un metodo efficace di curatela dei dati che armonizza ricompense di processo rumorose e granulari con ricompense di risultato accurate e grossolane. Piuttosto che mescolare in modo ingenuo PRM e ORM nella funzione obiettivo (arXiv:archive/2506.18896), PROF sfrutta i loro punti di forza complementari attraverso una selezione dei campioni guidata dalla consistenza. Il nostro approccio mantiene risposte corrette con valori di processo medi più alti e risposte errate con valori di processo medi più bassi, preservando l'equilibrio tra campioni di addestramento positivi e negativi. Esperimenti estensivi dimostrano che il nostro metodo non solo migliora costantemente l'accuratezza finale di oltre il 4% rispetto agli approcci di miscelazione, ma rafforza anche la qualità dei passaggi intermedi di ragionamento. I codici e le ricette di addestramento sono disponibili su https://github.com/Chenluye99/PROF.

English

Reinforcement learning with verifiable rewards (RLVR) has emerged to be a predominant paradigm for mathematical reasoning tasks, offering stable improvements in reasoning ability. However, Outcome Reward Models (ORMs) in RLVR are too coarse-grained to distinguish flawed reasoning within correct answers or valid reasoning within incorrect answers. This lack of granularity introduces noisy and misleading gradients significantly and hinders further progress in reasoning process quality. While Process Reward Models (PRMs) offer fine-grained guidance for intermediate steps, they frequently suffer from inaccuracies and are susceptible to reward hacking. To resolve this dilemma, we introduce PRocess cOnsistency Filter (PROF), an effective data process curation method that harmonizes noisy, fine-grained process rewards with accurate, coarse-grained outcome rewards. Rather than naively blending PRM and ORM in the objective function (arXiv:archive/2506.18896), PROF leverages their complementary strengths through consistency-driven sample selection. Our approach retains correct responses with higher averaged process values and incorrect responses with lower averaged process values, while maintaining positive/negative training sample balance. Extensive experiments demonstrate that our method not only consistently improves the final accuracy over 4% compared to the blending approaches, but also strengthens the quality of intermediate reasoning steps. Codes and training recipes are available at https://github.com/Chenluye99/PROF.