Tipizzazione degli Errori per Ricompense più Intelligenti: Migliorare i Modelli di Ricompensa dei Processi con Supervisione Gerarchica Consapevole degli Errori

Error Typing for Smarter Rewards: Improving Process Reward Models with Error-Aware Hierarchical Supervision

May 26, 2025

Autori: Tej Deep Pala, Panshul Sharma, Amir Zadeh, Chuan Li, Soujanya Poria

cs.AI

Abstract

I Large Language Model (LLM) sono inclini all'allucinazione, specialmente durante compiti multi-hop e ad alta intensità di ragionamento come la risoluzione di problemi matematici. Mentre i modelli di ricompensa basati sul risultato verificano solo le risposte finali, i Process Reward Model (PRM) valutano ogni passaggio intermedio per orientare la generazione verso soluzioni coerenti. Introduciamo PathFinder-PRM, un nuovo PRM discriminativo gerarchico e consapevole degli errori che prima classifica gli errori matematici e di coerenza a ogni passaggio, poi combina questi segnali granulari per stimare la correttezza del passaggio. Per addestrare PathFinder-PRM, abbiamo costruito un dataset di 400K campioni arricchendo il corpus PRM800K annotato manualmente e le tracce RLHFlow Mistral con etichette tridimensionali a livello di passaggio. Su PRMBench, PathFinder-PRM raggiunge un nuovo stato dell'arte con un PRMScore di 67.7, superando il precedente miglior risultato (65.5) utilizzando 3 volte meno dati. Quando applicato alla ricerca greedy guidata dalla ricompensa, il nostro modello ottiene un prm@8 di 48.3, un miglioramento di +1.5 punti rispetto al baseline più forte. Questi risultati dimostrano che il rilevamento degli errori e la stima della ricompensa disaccoppiati non solo potenziano il rilevamento granulare degli errori, ma migliorano sostanzialmente il ragionamento matematico end-to-end guidato dalla ricompensa con una maggiore efficienza dei dati.

English

Large Language Models (LLMs) are prone to hallucination, especially during multi-hop and reasoning-intensive tasks such as mathematical problem solving. While Outcome Reward Models verify only final answers, Process Reward Models (PRMs) score each intermediate step to steer generation toward coherent solutions. We introduce PathFinder-PRM, a novel hierarchical, error-aware discriminative PRM that first classifies math and consistency errors at each step, then combines these fine-grained signals to estimate step correctness. To train PathFinder-PRM, we construct a 400K-sample dataset by enriching the human-annotated PRM800K corpus and RLHFlow Mistral traces with three-dimensional step-level labels. On PRMBench, PathFinder-PRM achieves a new state-of-the-art PRMScore of 67.7, outperforming the prior best (65.5) while using 3 times less data. When applied to reward guided greedy search, our model yields prm@8 48.3, a +1.5 point gain over the strongest baseline. These results demonstrate that decoupled error detection and reward estimation not only boost fine-grained error detection but also substantially improve end-to-end, reward-guided mathematical reasoning with greater data efficiency.