Más allá de la corrección: Armonización de recompensas de proceso y resultado mediante entrenamiento con RL

Beyond Correctness: Harmonizing Process and Outcome Rewards through RL Training

September 3, 2025

Autores: Chenlu Ye, Zhou Yu, Ziji Zhang, Hao Chen, Narayanan Sadagopan, Jing Huang, Tong Zhang, Anurag Beniwal

cs.AI

Resumen

El aprendizaje por refuerzo con recompensas verificables (RLVR, por sus siglas en inglés) ha surgido como un paradigma predominante para tareas de razonamiento matemático, ofreciendo mejoras estables en la capacidad de razonamiento. Sin embargo, los Modelos de Recompensa por Resultados (ORMs, por sus siglas en inglés) en RLVR son demasiado generales para distinguir razonamientos defectuosos dentro de respuestas correctas o razonamientos válidos dentro de respuestas incorrectas. Esta falta de granularidad introduce gradientes ruidosos y engañosos de manera significativa, lo que obstaculiza un mayor progreso en la calidad del proceso de razonamiento. Aunque los Modelos de Recompensa por Procesos (PRMs, por sus siglas en inglés) ofrecen una guía detallada para los pasos intermedios, con frecuencia sufren de imprecisiones y son susceptibles a la manipulación de recompensas. Para resolver este dilema, presentamos el Filtro de Consistencia de Procesos (PROF, por sus siglas en inglés), un método efectivo de curación de datos que armoniza las recompensas de procesos detalladas pero ruidosas con las recompensas de resultados generales pero precisas. En lugar de combinar de manera ingenua los PRM y ORM en la función objetivo (arXiv:archive/2506.18896), PROF aprovecha sus fortalezas complementarias mediante la selección de muestras basada en la consistencia. Nuestro enfoque retiene respuestas correctas con valores de proceso promediados más altos y respuestas incorrectas con valores de proceso promediados más bajos, manteniendo un equilibrio entre muestras de entrenamiento positivas y negativas. Experimentos extensivos demuestran que nuestro método no solo mejora consistentemente la precisión final en más del 4% en comparación con los enfoques de combinación, sino que también fortalece la calidad de los pasos intermedios de razonamiento. Los códigos y recetas de entrenamiento están disponibles en https://github.com/Chenluye99/PROF.

English

Reinforcement learning with verifiable rewards (RLVR) has emerged to be a predominant paradigm for mathematical reasoning tasks, offering stable improvements in reasoning ability. However, Outcome Reward Models (ORMs) in RLVR are too coarse-grained to distinguish flawed reasoning within correct answers or valid reasoning within incorrect answers. This lack of granularity introduces noisy and misleading gradients significantly and hinders further progress in reasoning process quality. While Process Reward Models (PRMs) offer fine-grained guidance for intermediate steps, they frequently suffer from inaccuracies and are susceptible to reward hacking. To resolve this dilemma, we introduce PRocess cOnsistency Filter (PROF), an effective data process curation method that harmonizes noisy, fine-grained process rewards with accurate, coarse-grained outcome rewards. Rather than naively blending PRM and ORM in the objective function (arXiv:archive/2506.18896), PROF leverages their complementary strengths through consistency-driven sample selection. Our approach retains correct responses with higher averaged process values and incorrect responses with lower averaged process values, while maintaining positive/negative training sample balance. Extensive experiments demonstrate that our method not only consistently improves the final accuracy over 4% compared to the blending approaches, but also strengthens the quality of intermediate reasoning steps. Codes and training recipes are available at https://github.com/Chenluye99/PROF.