지식 집약적 추론을 조절하기 위한 프로세스 보상 에이전트

Process Reward Agents for Steering Knowledge-Intensive Reasoning

April 10, 2026

저자: Jiwoong Sohn, Tomasz Sternal, Kenneth Styppa, Torsten Hoefler, Michael Moor

cs.AI

초록

지식 집약적 영역에서의 추론은 중간 단계들이 종종 지역적으로 검증 가능하지 않기 때문에 여전히 도전적인 과제로 남아 있습니다: 수학이나 코드와 달리 단계 정확성 평가는 대규모 외부 지식 소스에 걸친 단서들을 종합하는 것을 필요로 할 수 있습니다. 그 결과, 미묘한 오류들이 추론 경로를 통해 전파되어 결코 발견되지 않을 가능성이 있습니다. 기존 연구에서는 검색 증강 변형을 포함한 과정 보상 모델(PRM)을 제안했지만, 이러한 방법들은 사후적으로 완성된 경로에 점수를 매기는 방식으로 작동하여 동적 추론 절차에의 통합을 방해합니다. 본 연구에서는 고정된 정책에 영역 기반의 온라인 단계별 보상을 제공하기 위한 테스트 타임 방법인 과정 보상 에이전트(PRA)를 소개합니다. 기존의 검색 증강 PRM과 달리, PRA는 검색 기반 디코딩이 모든 생성 단계에서 후보 경로를 순위화하고 가지치기할 수 있도록 합니다. 여러 의료 추론 벤치마크에서의 실험 결과, PRA가 강력한 기준선들을 꾸준히 능가하며 Qwen3-4B 모델을 사용한 MedQA에서 4B 규모의 새로운 최고 정확도인 80.8%를 달성함을 보여줍니다. 중요한 것은, PRA가 0.5B에서 8B 파라미터에 이르는 보지 않은 고정 정책 모델들로 일반화되어 정책 모델 업데이트 없이도 최대 25.7%까지 정확도를 향상시킨다는 점입니다. 더 넓게 보면, PRA는 고정된 추론기와 영역 특화 보상 모듈을 분리하는 패러다임을 제시하며, 복잡한 영역에서 재훈련 없이 새로운 백본 모델을 배치할 수 있게 합니다.

English

Reasoning in knowledge-intensive domains remains challenging as intermediate steps are often not locally verifiable: unlike math or code, evaluating step correctness may require synthesizing clues across large external knowledge sources. As a result, subtle errors can propagate through reasoning traces, potentially never to be detected. Prior work has proposed process reward models (PRMs), including retrieval-augmented variants, but these methods operate post hoc, scoring completed trajectories, which prevents their integration into dynamic inference procedures. Here, we introduce Process Reward Agents (PRA), a test-time method for providing domain-grounded, online, step-wise rewards to a frozen policy. In contrast to prior retrieval-augmented PRMs, PRA enables search-based decoding to rank and prune candidate trajectories at every generation step. Experiments on multiple medical reasoning benchmarks demonstrate that PRA consistently outperforms strong baselines, achieving 80.8% accuracy on MedQA with Qwen3-4B, a new state of the art at the 4B scale. Importantly, PRA generalizes to unseen frozen policy models ranging from 0.5B to 8B parameters, improving their accuracy by up to 25.7% without any policy model updates. More broadly, PRA suggests a paradigm in which frozen reasoners are decoupled from domain-specific reward modules, allowing the deployment of new backbones in complex domains without retraining.