Agentes de Recompensa de Processo para Orientar o Raciocínio Baseado em Conhecimento
Process Reward Agents for Steering Knowledge-Intensive Reasoning
April 10, 2026
Autores: Jiwoong Sohn, Tomasz Sternal, Kenneth Styppa, Torsten Hoefler, Michael Moor
cs.AI
Resumo
O raciocínio em domínios com grande densidade de conhecimento continua a ser um desafio, pois as etapas intermediárias frequentemente não são verificáveis localmente: ao contrário da matemática ou do código, a avaliação da correção de uma etapa pode exigir a síntese de pistas a partir de grandes fontes externas de conhecimento. Como resultado, erros subtis podem propagar-se através dos traços de raciocínio, podendo nunca ser detetados. Trabalhos anteriores propuseram modelos de recompensa de processo (PRMs), incluindo variantes aumentadas por recuperação de informação, mas estes métodos operam *a posteriori*, classificando trajetórias completas, o que impede a sua integração em procedimentos de inferência dinâmica. Aqui, introduzimos os Agentes de Recompensa de Processo (PRA), um método de teste para fornecer recompensas fundamentadas no domínio, *online* e passo a passo a uma política congelada. Em contraste com PRMs aumentados por recuperação anteriores, o PRA permite que a descodificação baseada em pesquisa classifique e pode trajetórias candidatas em cada etapa de geração. Experiências em múltiplos benchmarks de raciocínio médico demonstram que o PRA supera consistentemente linhas de base fortes, atingindo 80,8% de precisão no MedQA com o Qwen3-4B, um novo estado da arte na escala de 4B. É importante salientar que o PRA generaliza para modelos de política congelada não vistos, variando de 0,5B a 8B de parâmetros, melhorando a sua precisão em até 25,7% sem quaisquer atualizações do modelo de política. De forma mais ampla, o PRA sugere um paradigma no qual os sistemas de raciocínio congelados são dissociados de módulos de recompensa específicos do domínio, permitindo a implantação de novas arquiteturas base em domínios complexos sem necessidade de retreino.
English
Reasoning in knowledge-intensive domains remains challenging as intermediate steps are often not locally verifiable: unlike math or code, evaluating step correctness may require synthesizing clues across large external knowledge sources. As a result, subtle errors can propagate through reasoning traces, potentially never to be detected. Prior work has proposed process reward models (PRMs), including retrieval-augmented variants, but these methods operate post hoc, scoring completed trajectories, which prevents their integration into dynamic inference procedures. Here, we introduce Process Reward Agents (PRA), a test-time method for providing domain-grounded, online, step-wise rewards to a frozen policy. In contrast to prior retrieval-augmented PRMs, PRA enables search-based decoding to rank and prune candidate trajectories at every generation step. Experiments on multiple medical reasoning benchmarks demonstrate that PRA consistently outperforms strong baselines, achieving 80.8% accuracy on MedQA with Qwen3-4B, a new state of the art at the 4B scale. Importantly, PRA generalizes to unseen frozen policy models ranging from 0.5B to 8B parameters, improving their accuracy by up to 25.7% without any policy model updates. More broadly, PRA suggests a paradigm in which frozen reasoners are decoupled from domain-specific reward modules, allowing the deployment of new backbones in complex domains without retraining.