SPARK : Récompenses Processuelles Progressives pour l'Apprentissage par Renforcement Sans Référence

SPARK: Stepwise Process-Aware Rewards for Reference-Free Reinforcement Learning

December 2, 2025

papers.authors: Salman Rahman, Sruthi Gorantla, Arpit Gupta, Swastik Roy, Nanyun Peng, Yang Liu

cs.AI

papers.abstract

Les modèles de récompense de processus (PRM) qui fournissent un retour d'évaluation dense au niveau des étapes ont montré leur potentiel pour l'apprentissage par renforcement, mais leur adoption reste limitée par le besoin d'annotations coûteuses au niveau des étapes ou de références de vérité terrain. Nous proposons SPARK : un framework en trois étapes où, dans la première phase, un modèle générateur produit des solutions diverses et un modèle vérificateur les évalue en utilisant un scaling parallèle (auto-cohérence) et un scaling séquentiel (méta-critique). Dans la deuxième étape, nous utilisons ces sorties de vérification comme données d'entraînement synthétiques pour affiner des modèles génératifs de récompense de processus, qui servent ensuite de signaux de récompense pendant l'entraînement. Nous montrons que l'agrégation de multiples vérifications indépendantes au niveau des étapes produit des données d'entraînement pour les modèles de récompense de processus qui surpassent la supervision par vérité terrain des résultats, atteignant 67,5 F1 sur ProcessBench (un benchmark pour identifier les étapes erronées dans le raisonnement mathématique) contre 66,4 pour l'entraînement guidé par référence et 61,9 pour GPT-4o. Dans la phase finale, nous appliquons notre PRM génératif avec vérification par chaîne de pensée (PRM-CoT) comme modèle de récompense dans des expériences de RL sur le raisonnement mathématique, et introduisons des contraintes de format pour prévenir le détournement de récompense. En utilisant Qwen2.5-Math-7B, nous atteignons une précision moyenne de 47,4 % sur six benchmarks de raisonnement mathématique, surpassant la méthode RLVR basée sur la vérité terrain (43,9 %). Notre travail permet un entraînement par RL sans référence qui surpasse les méthodes utilisant la vérité terrain, ouvrant de nouvelles possibilités pour les domaines dépourvus de réponses vérifiables ou d'accès à une vérité terrain.

English

Process reward models (PRMs) that provide dense, step-level feedback have shown promise for reinforcement learning, yet their adoption remains limited by the need for expensive step-level annotations or ground truth references. We propose SPARK: a three-stage framework where in the first stage a generator model produces diverse solutions and a verifier model evaluates them using parallel scaling (self-consistency) and sequential scaling (meta-critique). In the second stage, we use these verification outputs as synthetic training data to fine-tune generative process reward models, which subsequently serve as reward signals during training. We show that aggregating multiple independent verifications at the step level produces training data for process reward models that surpass ground-truth outcome supervision, achieving 67.5 F1 on ProcessBench (a benchmark for identifying erroneous steps in mathematical reasoning) compared to 66.4 for reference-guided training and 61.9 for GPT-4o. In the final stage, we apply our generative PRM with chain-of-thought verification (PRM-CoT) as the reward model in RL experiments on mathematical reasoning, and introduce format constraints to prevent reward hacking. Using Qwen2.5-Math-7B, we achieve 47.4% average accuracy across six mathematical reasoning benchmarks, outperforming ground-truth-based RLVR (43.9%). Our work enables reference-free RL training that exceeds ground-truth methods, opening new possibilities for domains lacking verifiable answers or accessible ground truth.