Procesbeloningsagenten voor het Sturen van Kennisintensief Redeneren
Process Reward Agents for Steering Knowledge-Intensive Reasoning
April 10, 2026
Auteurs: Jiwoong Sohn, Tomasz Sternal, Kenneth Styppa, Torsten Hoefler, Michael Moor
cs.AI
Samenvatting
Redeneren in kennisdomeinen blijft uitdagend omdat tussenstappen vaak niet lokaal verifieerbaar zijn: in tegenstelling tot wiskunde of code kan het evalueren van de correctheid van een stap vereisen dat aanwijzingen uit grote externe kennisbronnen worden samengevoegd. Hierdoor kunnen subtiele fouten zich voortplanten door redeneersporen, mogelijk zonder ooit gedetecteerd te worden. Eerder onderzoek heeft procesbeloningsmodellen (PRM's) voorgesteld, inclusief retrieval-augmented varianten, maar deze methoden werken *post hoc* door voltooide trajecten te scoren, wat hun integratie in dynamische inferentieprocedures verhindert. Hier introduceren we Procesbeloningsagenten (PRA), een testtijdmethode om een bevroren beleid domeingegronde, online, stap-voor-stap beloningen te geven. In tegenstelling tot eerdere retrieval-augmented PRM's, stelt PRA op zoek gebaseerde decodering in staat om kandidaat-trajecten bij elke generatiestap te rangschikken en te snoeien. Experimenten op meerdere medische redeneerbenchmarks tonen aan dat PRA consistent sterke basislijnen overtreft, met een nauwkeurigheid van 80,8% op MedQA met Qwen3-4B, een nieuwe state-of-the-art op de 4B-schaal. Belangrijk is dat PRA generaliseert naar onzichtbare bevroren beleidsmodellen variërend van 0,5B tot 8B parameters, en hun nauwkeurigheid met tot 25,7% verbetert zonder enige beleidsmodelupdates. In bredere zin suggereert PRA een paradigma waarin bevroren redenaars worden ontkoppeld van domeinspecifieke beloningsmodules, waardoor de inzet van nieuwe backbones in complexe domeinen mogelijk wordt zonder hertraining.
English
Reasoning in knowledge-intensive domains remains challenging as intermediate steps are often not locally verifiable: unlike math or code, evaluating step correctness may require synthesizing clues across large external knowledge sources. As a result, subtle errors can propagate through reasoning traces, potentially never to be detected. Prior work has proposed process reward models (PRMs), including retrieval-augmented variants, but these methods operate post hoc, scoring completed trajectories, which prevents their integration into dynamic inference procedures. Here, we introduce Process Reward Agents (PRA), a test-time method for providing domain-grounded, online, step-wise rewards to a frozen policy. In contrast to prior retrieval-augmented PRMs, PRA enables search-based decoding to rank and prune candidate trajectories at every generation step. Experiments on multiple medical reasoning benchmarks demonstrate that PRA consistently outperforms strong baselines, achieving 80.8% accuracy on MedQA with Qwen3-4B, a new state of the art at the 4B scale. Importantly, PRA generalizes to unseen frozen policy models ranging from 0.5B to 8B parameters, improving their accuracy by up to 25.7% without any policy model updates. More broadly, PRA suggests a paradigm in which frozen reasoners are decoupled from domain-specific reward modules, allowing the deployment of new backbones in complex domains without retraining.