GenPRM: Escalando el Cómputo en Tiempo de Prueba de Modelos de Recompensa de Procesos mediante Razonamiento Generativo

GenPRM: Scaling Test-Time Compute of Process Reward Models via Generative Reasoning

April 1, 2025

Autores: Jian Zhao, Runze Liu, Kaiyan Zhang, Zhimu Zhou, Junqi Gao, Dong Li, Jiafei Lyu, Zhouyi Qian, Biqing Qi, Xiu Li, Bowen Zhou

cs.AI

Resumen

Los avances recientes en los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado que es prometedor utilizar Modelos de Recompensa de Procesos (PRMs, por sus siglas en inglés) como verificadores para mejorar el rendimiento de los LLMs. Sin embargo, los PRMs actuales enfrentan tres desafíos clave: (1) capacidades limitadas de supervisión y generalización de procesos, (2) dependencia de la predicción de valores escalares sin aprovechar las habilidades generativas de los LLMs, y (3) incapacidad para escalar el cómputo en tiempo de prueba de los PRMs. En este trabajo, presentamos GenPRM, un modelo de recompensa de procesos generativo que realiza un razonamiento explícito de Cadena de Pensamiento (CoT, por sus siglas en inglés) con verificación de código antes de proporcionar un juicio para cada paso del razonamiento. Para obtener etiquetas de supervisión de procesos y datos de justificación de alta calidad, proponemos la Estimación de Progreso Relativo (RPE, por sus siglas en inglés) y un marco de síntesis de justificación que incorpora la verificación de código. Los resultados experimentales en ProcessBench y varias tareas de razonamiento matemático muestran que GenPRM supera significativamente a los PRMs anteriores con solo 23K datos de entrenamiento del conjunto de datos MATH. A través del escalado en tiempo de prueba, un GenPRM de 1.5B supera a GPT-4o, y un GenPRM de 7B supera a Qwen2.5-Math-PRM-72B en ProcessBench. Además, GenPRM demuestra una fuerte capacidad para servir como modelo crítico para el refinamiento de modelos de políticas. Este trabajo establece un nuevo paradigma para la supervisión de procesos que cierra la brecha entre los PRMs y los modelos críticos en los LLMs. Nuestro código, modelo y datos estarán disponibles en https://ryanliu112.github.io/GenPRM.

English

Recent advancements in Large Language Models (LLMs) have shown that it is promising to utilize Process Reward Models (PRMs) as verifiers to enhance the performance of LLMs. However, current PRMs face three key challenges: (1) limited process supervision and generalization capabilities, (2) dependence on scalar value prediction without leveraging the generative abilities of LLMs, and (3) inability to scale the test-time compute of PRMs. In this work, we introduce GenPRM, a generative process reward model that performs explicit Chain-of-Thought (CoT) reasoning with code verification before providing judgment for each reasoning step. To obtain high-quality process supervision labels and rationale data, we propose Relative Progress Estimation (RPE) and a rationale synthesis framework that incorporates code verification. Experimental results on ProcessBench and several mathematical reasoning tasks show that GenPRM significantly outperforms prior PRMs with only 23K training data from MATH dataset. Through test-time scaling, a 1.5B GenPRM outperforms GPT-4o, and a 7B GenPRM surpasses Qwen2.5-Math-PRM-72B on ProcessBench. Additionally, GenPRM demonstrates strong abilities to serve as a critic model for policy model refinement. This work establishes a new paradigm for process supervision that bridges the gap between PRMs and critic models in LLMs. Our code, model, and data will be available in https://ryanliu112.github.io/GenPRM.