LLM-als-Verificator: Een algemeen toepasbaar verificatieraamwerk

Samenvatting

Het opschalen van pre-training, post-training en test-time compute is een centraal paradigma geworden voor het verbeteren van de mogelijkheden van LLM's. In dit werk identificeren we verificatie, het vermogen om de correctheid van een oplossing te bepalen, als een nieuwe opschalingsas. Om dit te ontsluiten en de effectiviteit ervan aan te tonen, introduceren we LLM-as-a-Verifier, een algemeen toepasbaar verificatiekader dat fijnmazige feedback geeft voor agentische taken zonder extra training te vereisen. In tegenstelling tot standaard LM-beoordelaars die LLM's aanzetten tot het produceren van discrete scores voor kandidaatoplossingen, berekent LLM-as-a-Verifier de verwachting over de verdeling van logits van score-tokens om continue scores te genereren. Deze probabilistische formulering stelt verificatie in staat om op te schalen langs meerdere dimensies: (1) scoregranulariteit, (2) herhaalde evaluatie en (3) criteriumdecompositie. In het bijzonder laten we zien dat het opschalen van de scoregranulariteit leidt tot een betere scheiding tussen positieve en negatieve oplossingen, wat resulteert in meer gekalibreerde vergelijkingen. Bovendien leidt het opschalen van herhaalde evaluatie en criteriumdecompositie consequent tot extra winst in verificatienauwkeurigheid door vermindering van variantie en complexiteit. We introduceren verder een kostenefficiënt rangschikkingsalgoritme voor het selecteren van de beste oplossing uit kandidaten met behulp van de continue scores van de verificateur. LLM-as-a-Verifier behaalt state-of-the-art prestaties op Terminal-Bench V2 (86,5%), SWE-Bench Verified (78,2%), RoboRewardBench (87,4%) en MedAgentBench (73,3%). Naast verificatie kunnen de fijnmazige signalen van LLM-as-a-Verifier ook dienen als een proxy voor het schatten van taakvoortgang. We bouwen een extensie voor Claude Code, waarmee ontwikkelaars hun eigen agentische systemen kunnen monitoren en verbeteren. Ten slotte tonen we aan dat LLM-as-a-Verifier dichte feedback kan geven voor RL, wat de sample-efficiëntie van SAC en GRPO op robotica- en wiskundige redeneerbenchmarks verbetert.

English

Scaling pre-training, post-training, and test-time compute have become the central paradigms for improving the capabilities of LLMs. In this work, we identify verification, the ability to determine the correctness of a solution, as a new scaling axis. To unlock this and demonstrate its effectiveness, we introduce LLM-as-a-Verifier, a general-purpose verification framework that provides fine-grained feedback for agentic tasks without requiring additional training. Unlike standard LM judges that prompt LLMs to produce discrete scores for candidate solutions, LLM-as-a-Verifier computes the expectation over the distribution of scoring token logits to generate continuous scores. This probabilistic formulation enables verification to scale along multiple dimensions: (1) score granularity, (2) repeated evaluation, and (3) criteria decomposition. In particular, we show that scaling the scoring granularity leads to better separation between positive and negative solutions, resulting in more calibrated comparisons. Moreover, scaling repeated evaluation and criteria decomposition consistently lead to additional gains in verification accuracy through variance and complexity reduction. We further introduce a cost-efficient ranking algorithm for selecting the best solution among candidates using the verifier's continuous scores. LLM-as-a-Verifier achieves state-of-the-art performance on Terminal-Bench V2 (86.5%), SWE-Bench Verified (78.2%), RoboRewardBench (87.4%), and MedAgentBench (73.3%). Beyond verification, the fine-grained signals from LLM-as-a-Verifier can also serve as a proxy for estimating task progress. We build an extension for Claude Code, enabling developers to monitor and improve their own agentic systems. Finally, we show that LLM-as-a-Verifier can provide dense feedback for RL, improving the sample efficiency of SAC and GRPO on robotics and mathematical reasoning benchmarks.