知識集約的推論を導くためのプロセス報酬エージェント

Process Reward Agents for Steering Knowledge-Intensive Reasoning

April 10, 2026

著者: Jiwoong Sohn, Tomasz Sternal, Kenneth Styppa, Torsten Hoefler, Michael Moor

cs.AI

要旨

知識集約的領域における推論は、中間ステップが局所的に検証可能でないため、依然として課題が多い。数学やコードと異なり、ステップの正当性評価には大規模な外部知識源にわたる手がかりの統合が必要となる場合がある。その結果、微妙な誤りが推論過程を通じて伝播し、検出されない可能性がある。従来の研究では、検索拡張型バリアントを含むプロセス報酬モデル（PRM）が提案されてきたが、これらの手法は事後的に完了した軌跡を評価するため、動的な推論手続きへの統合が妨げられてきた。本研究では、固定化されたポリシーに対し、領域に根ざしたオンラインの段階的報酬を提供するテスト時手法として、プロセス報酬エージェント（PRA）を提案する。従来の検索拡張型PRMとは対照的に、PRAは検索ベースのデコーディングを可能にし、各生成ステップで候補軌跡のランキングと刈り込みを実行する。複数の医療推論ベンチマークにおける実験により、PRAが強力なベースラインを一貫して上回り、Qwen3-4Bを用いたMedQAで80.8%の精度を達成し、4Bスケールにおける新たなstate of the artを達成したことを実証する。重要な点として、PRAは0.5Bから8Bパラメータにわたる未見の固定化ポリシーモデルに対しても一般化し、ポリシーモデルの更新なしに最大25.7%の精度向上をもたらす。より広義には、PRAは固定化された推論器と領域特化的な報酬モジュールを分離するパラダイムを示唆しており、複雑な領域において再学習なしに新たなバックボーンの導入を可能にする。

English

Reasoning in knowledge-intensive domains remains challenging as intermediate steps are often not locally verifiable: unlike math or code, evaluating step correctness may require synthesizing clues across large external knowledge sources. As a result, subtle errors can propagate through reasoning traces, potentially never to be detected. Prior work has proposed process reward models (PRMs), including retrieval-augmented variants, but these methods operate post hoc, scoring completed trajectories, which prevents their integration into dynamic inference procedures. Here, we introduce Process Reward Agents (PRA), a test-time method for providing domain-grounded, online, step-wise rewards to a frozen policy. In contrast to prior retrieval-augmented PRMs, PRA enables search-based decoding to rank and prune candidate trajectories at every generation step. Experiments on multiple medical reasoning benchmarks demonstrate that PRA consistently outperforms strong baselines, achieving 80.8% accuracy on MedQA with Qwen3-4B, a new state of the art at the 4B scale. Importantly, PRA generalizes to unseen frozen policy models ranging from 0.5B to 8B parameters, improving their accuracy by up to 25.7% without any policy model updates. More broadly, PRA suggests a paradigm in which frozen reasoners are decoupled from domain-specific reward modules, allowing the deployment of new backbones in complex domains without retraining.