SPARK: Schrittabhängige prozessorientierte Belohnungen für referenzfreies Reinforcement Learning

SPARK: Stepwise Process-Aware Rewards for Reference-Free Reinforcement Learning

December 2, 2025

papers.authors: Salman Rahman, Sruthi Gorantla, Arpit Gupta, Swastik Roy, Nanyun Peng, Yang Liu

cs.AI

papers.abstract

Prozessbelohnungsmodelle (PRMs), die dichte, schrittweise Rückmeldungen liefern, haben vielversprechende Ergebnisse für bestärkendes Lernen gezeigt, doch ihre Verbreitung wird nach wie vor durch den Bedarf an teuren schrittweisen Annotationen oder Ground-Truth-Referenzen eingeschränkt. Wir schlagen SPARK vor: ein dreistufiges Framework, in dem in der ersten Stufe ein Generator-Modell diverse Lösungen erzeugt und ein Verifikator-Modell diese mittels parallelem Skalieren (Selbstkonsistenz) und sequenziellem Skalieren (Meta-Kritik) bewertet. In der zweiten Stufe nutzen wir diese Verifikationsausgaben als synthetische Trainingsdaten, um generative Prozessbelohnungsmodelle zu feinabzustimmen, die anschließend als Belohnungssignale während des Trainings dienen. Wir zeigen, dass die Aggregation mehrerer unabhängiger Verifikationen auf Schrittebene Trainingsdaten für Prozessbelohnungsmodelle erzeugt, die eine Ground-Truth-Ergebnisüberwachung übertreffen, und erreichen 67,5 F1 auf ProcessBench (ein Benchmark zur Identifizierung fehlerhafter Schritte im mathematischen Denken) im Vergleich zu 66,4 für referenzgestütztes Training und 61,9 für GPT-4o. In der letzten Stufe wenden wir unser generatives PRM mit Chain-of-Thought-Verifikation (PRM-CoT) als Belohnungsmodell in RL-Experimenten zum mathematischen Denken an und führen Formatbeschränkungen ein, um Reward Hacking zu verhindern. Mit Qwen2.5-Math-7B erreichen wir eine durchschnittliche Genauigkeit von 47,4 % über sechs mathematische Reasoning-Benchmarks hinweg und übertreffen damit RLVR auf Ground-Truth-Basis (43,9 %). Unsere Arbeit ermöglicht referenzfreies RL-Training, das Ground-Truth-Methoden übertrifft, und eröffnet neue Möglichkeiten für Domänen, in denen verifizierbare Antworten oder zugängliche Ground-Truth-Daten fehlen.

English

Process reward models (PRMs) that provide dense, step-level feedback have shown promise for reinforcement learning, yet their adoption remains limited by the need for expensive step-level annotations or ground truth references. We propose SPARK: a three-stage framework where in the first stage a generator model produces diverse solutions and a verifier model evaluates them using parallel scaling (self-consistency) and sequential scaling (meta-critique). In the second stage, we use these verification outputs as synthetic training data to fine-tune generative process reward models, which subsequently serve as reward signals during training. We show that aggregating multiple independent verifications at the step level produces training data for process reward models that surpass ground-truth outcome supervision, achieving 67.5 F1 on ProcessBench (a benchmark for identifying erroneous steps in mathematical reasoning) compared to 66.4 for reference-guided training and 61.9 for GPT-4o. In the final stage, we apply our generative PRM with chain-of-thought verification (PRM-CoT) as the reward model in RL experiments on mathematical reasoning, and introduce format constraints to prevent reward hacking. Using Qwen2.5-Math-7B, we achieve 47.4% average accuracy across six mathematical reasoning benchmarks, outperforming ground-truth-based RLVR (43.9%). Our work enables reference-free RL training that exceeds ground-truth methods, opening new possibilities for domains lacking verifiable answers or accessible ground truth.