검증기로서의 LLM: 범용 검증 프레임워크

초록

사전 학습, 사후 학습 및 테스트 시점 연산의 확장은 LLM의 성능을 향상시키기 위한 핵심 패러다임이 되었다. 본 연구에서는 새로운 확장 축으로서 솔루션의 정확성을 판단하는 능력, 즉 검증(verification)을 식별한다. 이를 구현하고 효과를 입증하기 위해, 추가 학습 없이 에이전트 작업에 대해 세분화된 피드백을 제공하는 범용 검증 프레임워크인 LLM-as-a-Verifier를 도입한다. 후보 솔루션에 대해 이산 점수를 생성하기 위해 LLM을 프롬프트하는 표준 LM 판사와 달리, LLM-as-a-Verifier는 점수 부여 토큰 로짓(logit) 분포에 대한 기대값을 계산하여 연속 점수를 생성한다. 이 확률적 공식화는 (1) 점수 세분성, (2) 반복 평가, (3) 기준 분해의 여러 차원에 걸쳐 검증의 확장을 가능하게 한다. 특히, 점수 세분성을 확장하면 양성 솔루션과 음성 솔루션 간의 분리가 개선되어 더 잘 보정된 비교가 가능함을 보여준다. 또한, 반복 평가와 기준 분해를 확장하면 분산 및 복잡성 감소를 통해 검증 정확도에서 추가적인 이득을 일관되게 얻을 수 있다. 검증기의 연속 점수를 사용하여 후보 중 최적 솔루션을 선택하기 위한 비용 효율적인 순위 알고리즘을 추가로 도입한다. LLM-as-a-Verifier는 Terminal-Bench V2(86.5%), SWE-Bench Verified(78.2%), RoboRewardBench(87.4%), MedAgentBench(73.3%)에서 최첨단 성능을 달성한다. 검증 외에도 LLM-as-a-Verifier의 세분화된 신호는 작업 진행 상황을 추정하는 프록시 역할을 할 수 있다. Claude Code용 확장 기능을 구축하여 개발자가 자신의 에이전트 시스템을 모니터링하고 개선할 수 있도록 한다. 마지막으로, LLM-as-a-Verifier가 강화 학습(RL)에 조밀한 피드백을 제공하여 로봇공학 및 수학적 추론 벤치마크에서 SAC와 GRPO의 샘플 효율성을 향상시킬 수 있음을 보여준다.

English

Scaling pre-training, post-training, and test-time compute have become the central paradigms for improving the capabilities of LLMs. In this work, we identify verification, the ability to determine the correctness of a solution, as a new scaling axis. To unlock this and demonstrate its effectiveness, we introduce LLM-as-a-Verifier, a general-purpose verification framework that provides fine-grained feedback for agentic tasks without requiring additional training. Unlike standard LM judges that prompt LLMs to produce discrete scores for candidate solutions, LLM-as-a-Verifier computes the expectation over the distribution of scoring token logits to generate continuous scores. This probabilistic formulation enables verification to scale along multiple dimensions: (1) score granularity, (2) repeated evaluation, and (3) criteria decomposition. In particular, we show that scaling the scoring granularity leads to better separation between positive and negative solutions, resulting in more calibrated comparisons. Moreover, scaling repeated evaluation and criteria decomposition consistently lead to additional gains in verification accuracy through variance and complexity reduction. We further introduce a cost-efficient ranking algorithm for selecting the best solution among candidates using the verifier's continuous scores. LLM-as-a-Verifier achieves state-of-the-art performance on Terminal-Bench V2 (86.5%), SWE-Bench Verified (78.2%), RoboRewardBench (87.4%), and MedAgentBench (73.3%). Beyond verification, the fine-grained signals from LLM-as-a-Verifier can also serve as a proxy for estimating task progress. We build an extension for Claude Code, enabling developers to monitor and improve their own agentic systems. Finally, we show that LLM-as-a-Verifier can provide dense feedback for RL, improving the sample efficiency of SAC and GRPO on robotics and mathematical reasoning benchmarks.