Tipificación de Errores para Recompensas más Inteligentes: Mejorando los Modelos de Recompensa de Procesos con Supervisión Jerárquica Consciente de Errores

Error Typing for Smarter Rewards: Improving Process Reward Models with Error-Aware Hierarchical Supervision

May 26, 2025

Autores: Tej Deep Pala, Panshul Sharma, Amir Zadeh, Chuan Li, Soujanya Poria

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) son propensos a la alucinación, especialmente durante tareas de múltiples pasos y que requieren razonamiento intensivo, como la resolución de problemas matemáticos. Mientras que los Modelos de Recompensa de Resultados verifican únicamente las respuestas finales, los Modelos de Recompensa de Proceso (PRMs) puntúan cada paso intermedio para guiar la generación hacia soluciones coherentes. Presentamos PathFinder-PRM, un PRM discriminativo novedoso, jerárquico y consciente de errores, que primero clasifica errores matemáticos y de consistencia en cada paso, luego combina estas señales detalladas para estimar la corrección del paso. Para entrenar PathFinder-PRM, construimos un conjunto de datos de 400K muestras enriqueciendo el corpus PRM800K anotado por humanos y los rastros de RLHFlow Mistral con etiquetas tridimensionales a nivel de paso. En PRMBench, PathFinder-PRM alcanza un nuevo estado del arte con un PRMScore de 67.7, superando el mejor anterior (65.5) mientras utiliza 3 veces menos datos. Cuando se aplica a la búsqueda voraz guiada por recompensas, nuestro modelo obtiene un prm@8 de 48.3, una mejora de +1.5 puntos sobre la línea base más fuerte. Estos resultados demuestran que la detección de errores desacoplada y la estimación de recompensas no solo mejoran la detección de errores detallada, sino que también mejoran sustancialmente el razonamiento matemático guiado por recompensas de extremo a extremo con mayor eficiencia de datos.

English

Large Language Models (LLMs) are prone to hallucination, especially during multi-hop and reasoning-intensive tasks such as mathematical problem solving. While Outcome Reward Models verify only final answers, Process Reward Models (PRMs) score each intermediate step to steer generation toward coherent solutions. We introduce PathFinder-PRM, a novel hierarchical, error-aware discriminative PRM that first classifies math and consistency errors at each step, then combines these fine-grained signals to estimate step correctness. To train PathFinder-PRM, we construct a 400K-sample dataset by enriching the human-annotated PRM800K corpus and RLHFlow Mistral traces with three-dimensional step-level labels. On PRMBench, PathFinder-PRM achieves a new state-of-the-art PRMScore of 67.7, outperforming the prior best (65.5) while using 3 times less data. When applied to reward guided greedy search, our model yields prm@8 48.3, a +1.5 point gain over the strongest baseline. These results demonstrate that decoupled error detection and reward estimation not only boost fine-grained error detection but also substantially improve end-to-end, reward-guided mathematical reasoning with greater data efficiency.