Агенты вознаграждения процессов для управления знание-ориентированными рассуждениями

Process Reward Agents for Steering Knowledge-Intensive Reasoning

April 10, 2026

Авторы: Jiwoong Sohn, Tomasz Sternal, Kenneth Styppa, Torsten Hoefler, Michael Moor

cs.AI

Аннотация

Логический вывод в областях, требующих глубоких знаний, остается сложной задачей, поскольку промежуточные шаги часто не поддаются локальной проверке: в отличие от математики или кода, оценка правильности шага может требовать синтеза подсказок из обширных внешних источников знаний. Как следствие, малозаметные ошибки могут распространяться по цепочке рассуждений, потенциально оставаясь необнаруженными. Предыдущие работы предлагали модели вознаграждения за процесс (PRM), включая варианты с расширением поиском, но эти методы работают постфактум, оценивая завершенные траектории, что препятствует их интеграции в динамические процедуры вывода. Здесь мы представляем Агентов Вознаграждения за Процесс (PRA) — метод, применяемый во время тестирования, для предоставления основанного на предметной области, онлайн, пошагового вознаграждения замороженной политике. В отличие от предыдущих PRM с расширением поиска, PRA позволяет поисковому декодированию ранжировать и отсекать кандидатные траектории на каждом шаге генерации. Эксперименты на нескольких эталонах медицинского reasoning показывают, что PRA стабильно превосходит сильные базовые методы, достигая точности 80,8% на MedQA с моделью Qwen3-4B, что является новым state-of-the-art результатом для масштаба 4B параметров. Важно, что PRA обобщается на незнакомые замороженные модели-политики с диапазоном параметров от 0.5B до 8B, улучшая их точность до 25,7% без каких-либо обновлений самой модели-политики. В более широком смысле, PRA предлагает парадигму, в которой замороженные системы логического вывода отделены от специфичных для предметной области модулей вознаграждения, что позволяет развертывать новые модели-основы в сложных областях без их переобучения.

English

Reasoning in knowledge-intensive domains remains challenging as intermediate steps are often not locally verifiable: unlike math or code, evaluating step correctness may require synthesizing clues across large external knowledge sources. As a result, subtle errors can propagate through reasoning traces, potentially never to be detected. Prior work has proposed process reward models (PRMs), including retrieval-augmented variants, but these methods operate post hoc, scoring completed trajectories, which prevents their integration into dynamic inference procedures. Here, we introduce Process Reward Agents (PRA), a test-time method for providing domain-grounded, online, step-wise rewards to a frozen policy. In contrast to prior retrieval-augmented PRMs, PRA enables search-based decoding to rank and prune candidate trajectories at every generation step. Experiments on multiple medical reasoning benchmarks demonstrate that PRA consistently outperforms strong baselines, achieving 80.8% accuracy on MedQA with Qwen3-4B, a new state of the art at the 4B scale. Importantly, PRA generalizes to unseen frozen policy models ranging from 0.5B to 8B parameters, improving their accuracy by up to 25.7% without any policy model updates. More broadly, PRA suggests a paradigm in which frozen reasoners are decoupled from domain-specific reward modules, allowing the deployment of new backbones in complex domains without retraining.