Fehlertypisierung für intelligentere Belohnungen: Verbesserung von Prozess-Belohnungsmodellen durch fehlerbewusste hierarchische Überwachung

Error Typing for Smarter Rewards: Improving Process Reward Models with Error-Aware Hierarchical Supervision

May 26, 2025

Autoren: Tej Deep Pala, Panshul Sharma, Amir Zadeh, Chuan Li, Soujanya Poria

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) neigen zu Halluzinationen, insbesondere bei mehrstufigen und schlussfolgerungsintensiven Aufgaben wie der Lösung mathematischer Probleme. Während Ergebnis-Belohnungsmodelle nur die endgültigen Antworten überprüfen, bewerten Prozess-Belohnungsmodelle (PRMs) jeden Zwischenschritt, um die Generierung in Richtung kohärenter Lösungen zu lenken. Wir stellen PathFinder-PRM vor, ein neuartiges hierarchisches, fehlerbewusstes diskriminatives PRM, das zunächst mathematische und Konsistenzfehler in jedem Schritt klassifiziert und dann diese feingranularen Signale kombiniert, um die Korrektheit des Schritts zu schätzen. Um PathFinder-PRM zu trainieren, haben wir einen Datensatz mit 400.000 Proben erstellt, indem wir das menschlich annotierte PRM800K-Korpus und die RLHFlow Mistral-Traces mit dreidimensionalen schrittbezogenen Labels angereichert haben. Auf PRMBench erreicht PathFinder-PRM einen neuen State-of-the-Art-PRMScore von 67,7 und übertrifft damit den bisherigen Bestwert (65,5) bei dreimal weniger Daten. Bei der Anwendung auf belohnungsgesteuerte Greedy-Suche erzielt unser Modell einen prm@8-Wert von 48,3, was einer Steigerung von +1,5 Punkten gegenüber der stärksten Baseline entspricht. Diese Ergebnisse zeigen, dass die entkoppelte Fehlererkennung und Belohnungsschätzung nicht nur die feingranulare Fehlererkennung verbessert, sondern auch das end-to-end, belohnungsgesteuerte mathematische Denken bei höherer Dateneffizienz erheblich steigert.

English

Large Language Models (LLMs) are prone to hallucination, especially during multi-hop and reasoning-intensive tasks such as mathematical problem solving. While Outcome Reward Models verify only final answers, Process Reward Models (PRMs) score each intermediate step to steer generation toward coherent solutions. We introduce PathFinder-PRM, a novel hierarchical, error-aware discriminative PRM that first classifies math and consistency errors at each step, then combines these fine-grained signals to estimate step correctness. To train PathFinder-PRM, we construct a 400K-sample dataset by enriching the human-annotated PRM800K corpus and RLHFlow Mistral traces with three-dimensional step-level labels. On PRMBench, PathFinder-PRM achieves a new state-of-the-art PRMScore of 67.7, outperforming the prior best (65.5) while using 3 times less data. When applied to reward guided greedy search, our model yields prm@8 48.3, a +1.5 point gain over the strongest baseline. These results demonstrate that decoupled error detection and reward estimation not only boost fine-grained error detection but also substantially improve end-to-end, reward-guided mathematical reasoning with greater data efficiency.