Agents de Récompense de Processus pour Orienter le Raisonnement en Contexte de Connaissances Intensives

Process Reward Agents for Steering Knowledge-Intensive Reasoning

April 10, 2026

Auteurs: Jiwoong Sohn, Tomasz Sternal, Kenneth Styppa, Torsten Hoefler, Michael Moor

cs.AI

Résumé

Le raisonnement dans les domaines à forte intensité de connaissances reste difficile car les étapes intermédiaires ne sont souvent pas vérifiables localement : contrairement aux mathématiques ou au code, l'évaluation de l'exactitude d'une étape peut nécessiter la synthèse d'indices provenant de vastes sources de connaissances externes. Par conséquent, des erreurs subtiles peuvent se propager dans les traces de raisonnement, risquant de ne jamais être détectées. Les travaux antérieurs ont proposé des modèles de récompense de processus (PRM), y compris des variantes augmentées par recherche, mais ces méthodes opèrent a posteriori en évaluant des trajectoires complètes, ce qui empêche leur intégration dans des procédures d'inférence dynamiques. Nous présentons ici les Agents de Récompense de Processus (PRA), une méthode opérationnelle fournissant des récompenses en temps réel, ancrées dans le domaine et calculées étape par étape à une politique figée. Contrairement aux PRM antérieurs augmentés par recherche, PRA permet à un décodage par exploration de classer et d'élaguer les trajectoires candidates à chaque étape de génération. Les expériences sur plusieurs benchmarks de raisonnement médical démontrent que PRA surpasse constamment des bases de référence solides, atteignant une précision de 80,8 % sur MedQA avec Qwen3-4B, un nouveau state-of-the-art à l'échelle des 4B. Fait important, PRA généralise à des modèles de politiques figées non vus auparavant, allant de 0,5B à 8B de paramètres, améliorant leur précision jusqu'à 25,7 % sans aucune mise à jour du modèle de politique. Plus largement, PRA suggère un paradigme dans lequel les raisonneurs figés sont découplés des modules de récompense spécifiques au domaine, permettant le déploiement de nouvelles architectures dans des domaines complexes sans réentraînement.

English

Reasoning in knowledge-intensive domains remains challenging as intermediate steps are often not locally verifiable: unlike math or code, evaluating step correctness may require synthesizing clues across large external knowledge sources. As a result, subtle errors can propagate through reasoning traces, potentially never to be detected. Prior work has proposed process reward models (PRMs), including retrieval-augmented variants, but these methods operate post hoc, scoring completed trajectories, which prevents their integration into dynamic inference procedures. Here, we introduce Process Reward Agents (PRA), a test-time method for providing domain-grounded, online, step-wise rewards to a frozen policy. In contrast to prior retrieval-augmented PRMs, PRA enables search-based decoding to rank and prune candidate trajectories at every generation step. Experiments on multiple medical reasoning benchmarks demonstrate that PRA consistently outperforms strong baselines, achieving 80.8% accuracy on MedQA with Qwen3-4B, a new state of the art at the 4B scale. Importantly, PRA generalizes to unseen frozen policy models ranging from 0.5B to 8B parameters, improving their accuracy by up to 25.7% without any policy model updates. More broadly, PRA suggests a paradigm in which frozen reasoners are decoupled from domain-specific reward modules, allowing the deployment of new backbones in complex domains without retraining.