LLM als Verifizierer: Ein Allzweck-Verifikationsframework

Zusammenfassung

Die Skalierung von Vor-Training, Nach-Training und Testzeit-Berechnung hat sich als zentrales Paradigma zur Verbesserung der Fähigkeiten großer Sprachmodelle (LLMs) etabliert. In dieser Arbeit identifizieren wir die Verifikation – also die Fähigkeit, die Korrektheit einer Lösung zu bestimmen – als neue Skalierungsachse. Um dies zu erschließen und seine Wirksamkeit zu demonstrieren, führen wir LLM-as-a-Verifier ein, ein allgemeines Verifikations-Framework, das ohne zusätzliches Training feinkörniges Feedback für agentische Aufgaben liefert. Anders als standardmäßige LM-Richter, die LLMs auffordern, diskrete Bewertungen für Kandidatenlösungen zu generieren, berechnet LLM-as-a-Verifier den Erwartungswert über die Verteilung der Logits des Bewertungstokens, um kontinuierliche Bewertungen zu erzeugen. Diese probabilistische Formulierung ermöglicht es, die Verifikation entlang mehrerer Dimensionen zu skalieren: (1) Bewertungsgranularität, (2) wiederholte Evaluierung und (3) Kriterienzerlegung. Insbesondere zeigen wir, dass die Skalierung der Bewertungsgranularität zu einer besseren Trennung zwischen positiven und negativen Lösungen führt, was kalibriertere Vergleiche ergibt. Darüber hinaus führen wiederholte Evaluierung und Kriterienzerlegung durch Varianz- und Komplexitätsreduktion konsequent zu zusätzlichen Verbesserungen der Verifikationsgenauigkeit. Wir stellen zudem einen kosteneffizienten Ranking-Algorithmus vor, der die kontinuierlichen Bewertungen des Verifiers nutzt, um die beste Lösung unter den Kandidaten auszuwählen. LLM-as-a-Verifier erzielt Spitzenleistungen auf Terminal-Bench V2 (86,5 %), SWE-Bench Verified (78,2 %), RoboRewardBench (87,4 %) und MedAgentBench (73,3 %). Über die Verifikation hinaus können die feinkörnigen Signale von LLM-as-a-Verifier auch als Näherungsgröße zur Einschätzung des Aufgabenfortschritts dienen. Wir entwickeln eine Erweiterung für Claude Code, die es Entwicklern ermöglicht, ihre eigenen agentischen Systeme zu überwachen und zu verbessern. Schließlich zeigen wir, dass LLM-as-a-Verifier dichtes Feedback für Reinforcement Learning liefern kann, wodurch die Dateneffizienz von SAC und GRPO bei Robotik- und mathematischen Reasoning-Benchmarks verbessert wird.

English

Scaling pre-training, post-training, and test-time compute have become the central paradigms for improving the capabilities of LLMs. In this work, we identify verification, the ability to determine the correctness of a solution, as a new scaling axis. To unlock this and demonstrate its effectiveness, we introduce LLM-as-a-Verifier, a general-purpose verification framework that provides fine-grained feedback for agentic tasks without requiring additional training. Unlike standard LM judges that prompt LLMs to produce discrete scores for candidate solutions, LLM-as-a-Verifier computes the expectation over the distribution of scoring token logits to generate continuous scores. This probabilistic formulation enables verification to scale along multiple dimensions: (1) score granularity, (2) repeated evaluation, and (3) criteria decomposition. In particular, we show that scaling the scoring granularity leads to better separation between positive and negative solutions, resulting in more calibrated comparisons. Moreover, scaling repeated evaluation and criteria decomposition consistently lead to additional gains in verification accuracy through variance and complexity reduction. We further introduce a cost-efficient ranking algorithm for selecting the best solution among candidates using the verifier's continuous scores. LLM-as-a-Verifier achieves state-of-the-art performance on Terminal-Bench V2 (86.5%), SWE-Bench Verified (78.2%), RoboRewardBench (87.4%), and MedAgentBench (73.3%). Beyond verification, the fine-grained signals from LLM-as-a-Verifier can also serve as a proxy for estimating task progress. We build an extension for Claude Code, enabling developers to monitor and improve their own agentic systems. Finally, we show that LLM-as-a-Verifier can provide dense feedback for RL, improving the sample efficiency of SAC and GRPO on robotics and mathematical reasoning benchmarks.