SPARK: Recompensas Paso a Paso con Conciencia del Proceso para el Aprendizaje por Refuerzo Libre de Referencias

SPARK: Stepwise Process-Aware Rewards for Reference-Free Reinforcement Learning

December 2, 2025

Autores: Salman Rahman, Sruthi Gorantla, Arpit Gupta, Swastik Roy, Nanyun Peng, Yang Liu

cs.AI

Resumen

Los modelos de recompensa de proceso (PRM), que proporcionan retroalimentación densa a nivel de paso, han mostrado potencial para el aprendizaje por refuerzo. Sin embargo, su adopción sigue limitada por la necesidad de anotaciones costosas a nivel de paso o de referencias de verdad terreno. Proponemos SPARK: un marco de trabajo de tres etapas en el que, en la primera etapa, un modelo generador produce soluciones diversas y un modelo verificador las evalúa utilizando escalado paralelo (autoconsistencia) y escalado secuencial (metacrítica). En la segunda etapa, utilizamos estas salidas de verificación como datos de entrenamiento sintéticos para afinar modelos generativos de recompensa de proceso, que posteriormente sirven como señales de recompensa durante el entrenamiento. Demostramos que agregar múltiples verificaciones independientes a nivel de paso produce datos de entrenamiento para modelos de recompensa de proceso que superan la supervisión de resultados de verdad terreno, logrando 67.5 F1 en ProcessBench (un punto de referencia para identificar pasos erróneos en razonamiento matemático) en comparación con 66.4 para el entrenamiento guiado por referencia y 61.9 para GPT-4o. En la etapa final, aplicamos nuestro PRM generativo con verificación de cadena de pensamiento (PRM-CoT) como modelo de recompensa en experimentos de RL sobre razonamiento matemático, e introducimos restricciones de formato para evitar la piratería de recompensas. Utilizando Qwen2.5-Math-7B, logramos un 47.4% de precisión promedio en seis puntos de referencia de razonamiento matemático, superando al RLVR basado en verdad terreno (43.9%). Nuestro trabajo permite un entrenamiento de RL sin referencias que supera a los métodos basados en verdad terreno, abriendo nuevas posibilidades para dominios que carecen de respuestas verificables o de una verdad terreno accesible.

English

Process reward models (PRMs) that provide dense, step-level feedback have shown promise for reinforcement learning, yet their adoption remains limited by the need for expensive step-level annotations or ground truth references. We propose SPARK: a three-stage framework where in the first stage a generator model produces diverse solutions and a verifier model evaluates them using parallel scaling (self-consistency) and sequential scaling (meta-critique). In the second stage, we use these verification outputs as synthetic training data to fine-tune generative process reward models, which subsequently serve as reward signals during training. We show that aggregating multiple independent verifications at the step level produces training data for process reward models that surpass ground-truth outcome supervision, achieving 67.5 F1 on ProcessBench (a benchmark for identifying erroneous steps in mathematical reasoning) compared to 66.4 for reference-guided training and 61.9 for GPT-4o. In the final stage, we apply our generative PRM with chain-of-thought verification (PRM-CoT) as the reward model in RL experiments on mathematical reasoning, and introduce format constraints to prevent reward hacking. Using Qwen2.5-Math-7B, we achieve 47.4% average accuracy across six mathematical reasoning benchmarks, outperforming ground-truth-based RLVR (43.9%). Our work enables reference-free RL training that exceeds ground-truth methods, opening new possibilities for domains lacking verifiable answers or accessible ground truth.