Fouttypologie voor Slimmere Beloningen: Procesbeloningsmodellen Verbeteren met Foutbewuste Hiërarchische Supervisie

Error Typing for Smarter Rewards: Improving Process Reward Models with Error-Aware Hierarchical Supervision

May 26, 2025

Auteurs: Tej Deep Pala, Panshul Sharma, Amir Zadeh, Chuan Li, Soujanya Poria

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) zijn gevoelig voor hallucinatie, vooral tijdens meerstaps- en redeneerintensieve taken zoals het oplossen van wiskundige problemen. Terwijl Outcome Reward Models alleen de eindantwoorden verifiëren, beoordelen Process Reward Models (PRM's) elke tussenstap om de generatie richting coherente oplossingen te sturen. Wij introduceren PathFinder-PRM, een nieuw hiërarchisch, foutbewust discriminerend PRM dat eerst wiskundige en consistentiefouten bij elke stap classificeert, en vervolgens deze fijnmazige signalen combineert om de juistheid van de stap te schatten. Om PathFinder-PRM te trainen, hebben we een dataset van 400K samples geconstrueerd door het met menselijke annotaties verrijkte PRM800K-corpus en RLHFlow Mistral-traceringen te voorzien van driedimensionale stapniveau-labels. Op PRMBench behaalt PathFinder-PRM een nieuwe state-of-the-art PRMScore van 67.7, wat beter is dan het vorige beste resultaat (65.5) terwijl het drie keer minder data gebruikt. Wanneer toegepast op beloningsgeleide greedy search, levert ons model een prm@8 van 48.3, een verbetering van +1.5 punten ten opzichte van de sterkste baseline. Deze resultaten tonen aan dat ontkoppelde foutdetectie en beloningsschatting niet alleen de fijnmazige foutdetectie verbeteren, maar ook end-to-end, beloningsgeleid wiskundig redeneren aanzienlijk verbeteren met een grotere data-efficiëntie.

English

Large Language Models (LLMs) are prone to hallucination, especially during multi-hop and reasoning-intensive tasks such as mathematical problem solving. While Outcome Reward Models verify only final answers, Process Reward Models (PRMs) score each intermediate step to steer generation toward coherent solutions. We introduce PathFinder-PRM, a novel hierarchical, error-aware discriminative PRM that first classifies math and consistency errors at each step, then combines these fine-grained signals to estimate step correctness. To train PathFinder-PRM, we construct a 400K-sample dataset by enriching the human-annotated PRM800K corpus and RLHFlow Mistral traces with three-dimensional step-level labels. On PRMBench, PathFinder-PRM achieves a new state-of-the-art PRMScore of 67.7, outperforming the prior best (65.5) while using 3 times less data. When applied to reward guided greedy search, our model yields prm@8 48.3, a +1.5 point gain over the strongest baseline. These results demonstrate that decoupled error detection and reward estimation not only boost fine-grained error detection but also substantially improve end-to-end, reward-guided mathematical reasoning with greater data efficiency.