Typologie des erreurs pour des récompenses plus intelligentes : Amélioration des modèles de récompense de processus grâce à une supervision hiérarchique prenant en compte les erreurs

Error Typing for Smarter Rewards: Improving Process Reward Models with Error-Aware Hierarchical Supervision

May 26, 2025

Auteurs: Tej Deep Pala, Panshul Sharma, Amir Zadeh, Chuan Li, Soujanya Poria

cs.AI

Résumé

Les grands modèles de langage (LLMs) sont sujets à des hallucinations, en particulier lors de tâches complexes nécessitant des raisonnements multiples, comme la résolution de problèmes mathématiques. Alors que les modèles de récompense basés sur les résultats vérifient uniquement les réponses finales, les modèles de récompense basés sur le processus (PRMs) évaluent chaque étape intermédiaire pour orienter la génération vers des solutions cohérentes. Nous présentons PathFinder-PRM, un nouveau PRM discriminatif hiérarchique et conscient des erreurs qui classe d'abord les erreurs mathématiques et de cohérence à chaque étape, puis combine ces signaux fins pour estimer la justesse de l'étape. Pour entraîner PathFinder-PRM, nous avons construit un ensemble de données de 400 000 échantillons en enrichissant le corpus PRM800K annoté manuellement et les traces RLHFlow Mistral avec des étiquettes tridimensionnelles au niveau des étapes. Sur PRMBench, PathFinder-PRM atteint un nouveau record avec un PRMScore de 67,7, surpassant le précédent meilleur score (65,5) tout en utilisant trois fois moins de données. Lorsqu'il est appliqué à une recherche gloutonne guidée par récompense, notre modèle obtient un prm@8 de 48,3, soit une amélioration de 1,5 point par rapport au meilleur modèle de référence. Ces résultats démontrent que la détection d'erreurs découplée et l'estimation des récompenses non seulement améliorent la détection fine des erreurs, mais améliorent également de manière significative le raisonnement mathématique guidé par récompense de bout en bout, avec une meilleure efficacité des données.

English

Large Language Models (LLMs) are prone to hallucination, especially during multi-hop and reasoning-intensive tasks such as mathematical problem solving. While Outcome Reward Models verify only final answers, Process Reward Models (PRMs) score each intermediate step to steer generation toward coherent solutions. We introduce PathFinder-PRM, a novel hierarchical, error-aware discriminative PRM that first classifies math and consistency errors at each step, then combines these fine-grained signals to estimate step correctness. To train PathFinder-PRM, we construct a 400K-sample dataset by enriching the human-annotated PRM800K corpus and RLHFlow Mistral traces with three-dimensional step-level labels. On PRMBench, PathFinder-PRM achieves a new state-of-the-art PRMScore of 67.7, outperforming the prior best (65.5) while using 3 times less data. When applied to reward guided greedy search, our model yields prm@8 48.3, a +1.5 point gain over the strongest baseline. These results demonstrate that decoupled error detection and reward estimation not only boost fine-grained error detection but also substantially improve end-to-end, reward-guided mathematical reasoning with greater data efficiency.