Agentes de Recompensa de Procesos para Dirigir el Razonamiento Basado en Conocimiento
Process Reward Agents for Steering Knowledge-Intensive Reasoning
April 10, 2026
Autores: Jiwoong Sohn, Tomasz Sternal, Kenneth Styppa, Torsten Hoefler, Michael Moor
cs.AI
Resumen
El razonamiento en dominios intensivos en conocimiento sigue siendo un desafío, ya que los pasos intermedios a menudo no son verificables localmente: a diferencia de las matemáticas o el código, evaluar la corrección de un paso puede requerir sintetizar pistas a través de grandes fuentes de conocimiento externas. Como resultado, errores sutiles pueden propagarse a través de las trazas de razonamiento, pudiendo pasar desapercibidos. Trabajos previos han propuesto modelos de recompensa de proceso (PRM), incluidas variantes aumentadas con recuperación de información, pero estos métodos operan *a posteriori*, puntuando trayectorias completas, lo que impide su integración en procedimientos de inferencia dinámicos. Aquí presentamos Agentes de Recompensa de Proceso (PRA), un método en tiempo de prueba para proporcionar recompensas fundamentadas en el dominio, en línea y paso a paso, a una política congelada. A diferencia de los PRM aumentados con recuperación anteriores, PRA permite que la decodificación basada en búsqueda clasifique y pode las trayectorias candidatas en cada paso de generación. Los experimentos en múltiples benchmarks de razonamiento médico demuestran que PRA supera consistentemente a líneas base sólidas, logrando un 80.8% de precisión en MedQA con Qwen3-4B, un nuevo estado del arte en la escala de 4B. Es importante destacar que PRA generaliza a modelos de políticas congeladas no vistos, que van desde 0.5B hasta 8B de parámetros, mejorando su precisión hasta en un 25.7% sin ninguna actualización del modelo de políticas. En términos más amplios, PRA sugiere un paradigma en el que los sistemas de razonamiento congelados se desacoplan de módulos de recompensa específicos del dominio, permitiendo el despliegue de nuevas arquitecturas base en dominios complejos sin necesidad de reentrenamiento.
English
Reasoning in knowledge-intensive domains remains challenging as intermediate steps are often not locally verifiable: unlike math or code, evaluating step correctness may require synthesizing clues across large external knowledge sources. As a result, subtle errors can propagate through reasoning traces, potentially never to be detected. Prior work has proposed process reward models (PRMs), including retrieval-augmented variants, but these methods operate post hoc, scoring completed trajectories, which prevents their integration into dynamic inference procedures. Here, we introduce Process Reward Agents (PRA), a test-time method for providing domain-grounded, online, step-wise rewards to a frozen policy. In contrast to prior retrieval-augmented PRMs, PRA enables search-based decoding to rank and prune candidate trajectories at every generation step. Experiments on multiple medical reasoning benchmarks demonstrate that PRA consistently outperforms strong baselines, achieving 80.8% accuracy on MedQA with Qwen3-4B, a new state of the art at the 4B scale. Importantly, PRA generalizes to unseen frozen policy models ranging from 0.5B to 8B parameters, improving their accuracy by up to 25.7% without any policy model updates. More broadly, PRA suggests a paradigm in which frozen reasoners are decoupled from domain-specific reward modules, allowing the deployment of new backbones in complex domains without retraining.