LLM-as-a-Verifier: 汎用検証フレームワーク

要旨

事前学習、事後学習、およびテスト時の計算のスケーリングは、LLMの能力を向上させるための中心的パラダイムとなっている。本研究では、解の正当性を判断する能力である検証を、新たなスケーリング軸として特定する。これを実現しその有効性を示すために、追加の学習を必要とせずにエージェント的タスクに対してきめ細かいフィードバックを提供する汎用検証フレームワーク「LLM-as-a-Verifier」を導入する。標準的なLM判定器がLLMに対して候補解の離散スコアを生成させるのとは異なり、LLM-as-a-Verifierはスコアリングトークンロジットの分布に対する期待値を計算し、連続スコアを生成する。この確率的定式化により、検証は複数の次元に沿ってスケーリング可能になる。(1)スコアの細粒度、(2)繰り返し評価、(3)基準の分解。特に、スコアの細粒度を拡大することで、正解と不正解の解の分離が改善され、より較正された比較が可能になることを示す。さらに、繰り返し評価と基準の分解をスケーリングすることで、分散と複雑性の低減を通じて検証精度が一貫して向上する。また、検証器の連続スコアを用いて候補の中から最適な解を選択するためのコスト効率の良いランキングアルゴリズムを導入する。LLM-as-a-Verifierは、Terminal-Bench V2（86.5%）、SWE-Bench Verified（78.2%）、RoboRewardBench（87.4%）、MedAgentBench（73.3%）において最先端の性能を達成する。検証を超えて、LLM-as-a-Verifierからのきめ細かい信号は、タスクの進行状況を推定するための代理指標としても機能する。Claude Codeの拡張機能を構築し、開発者が自身のエージェントシステムを監視・改善できるようにする。最後に、LLM-as-a-Verifierが強化学習に対して密なフィードバックを提供し、ロボティクスおよび数学的推論ベンチマークにおけるSACとGRPOのサンプル効率を改善することを示す。

English

Scaling pre-training, post-training, and test-time compute have become the central paradigms for improving the capabilities of LLMs. In this work, we identify verification, the ability to determine the correctness of a solution, as a new scaling axis. To unlock this and demonstrate its effectiveness, we introduce LLM-as-a-Verifier, a general-purpose verification framework that provides fine-grained feedback for agentic tasks without requiring additional training. Unlike standard LM judges that prompt LLMs to produce discrete scores for candidate solutions, LLM-as-a-Verifier computes the expectation over the distribution of scoring token logits to generate continuous scores. This probabilistic formulation enables verification to scale along multiple dimensions: (1) score granularity, (2) repeated evaluation, and (3) criteria decomposition. In particular, we show that scaling the scoring granularity leads to better separation between positive and negative solutions, resulting in more calibrated comparisons. Moreover, scaling repeated evaluation and criteria decomposition consistently lead to additional gains in verification accuracy through variance and complexity reduction. We further introduce a cost-efficient ranking algorithm for selecting the best solution among candidates using the verifier's continuous scores. LLM-as-a-Verifier achieves state-of-the-art performance on Terminal-Bench V2 (86.5%), SWE-Bench Verified (78.2%), RoboRewardBench (87.4%), and MedAgentBench (73.3%). Beyond verification, the fine-grained signals from LLM-as-a-Verifier can also serve as a proxy for estimating task progress. We build an extension for Claude Code, enabling developers to monitor and improve their own agentic systems. Finally, we show that LLM-as-a-Verifier can provide dense feedback for RL, improving the sample efficiency of SAC and GRPO on robotics and mathematical reasoning benchmarks.