Budgetbewusste Testzeit-Skalierung durch diskriminative Verifikation

Budget-aware Test-time Scaling via Discriminative Verification

October 16, 2025

papers.authors: Kyle Montgomery, Sijun Tan, Yuqi Chen, Siyuan Zhuang, Tianjun Zhang, Raluca Ada Popa, Chenguang Wang

cs.AI

papers.abstract

Test-Time-Skalierung ist eine leistungsstarke Strategie zur Steigerung der Leistung großer Sprachmodelle bei komplexen Denkaufgaben. Während state-of-the-art-Ansätze oft generative Verifizierer verwenden, um die beste Lösung aus einem Pool von Kandidaten auszuwählen, verursacht diese Methode prohibitive Rechenkosten, was ihre Praktikabilität einschränkt. In dieser Arbeit verlagern wir den Fokus auf ein budgetbewussteres Paradigma: die diskriminative Verifikation. Wir führen eine umfassende empirische Analyse durch und zeigen, dass diskriminative Verifizierer zwar isoliert betrachtet unterlegen sein können, ihre Kombination mit Selbstkonsistenz in einem hybriden Ansatz jedoch einen leistungsstarken und effizienten Mechanismus für die Test-Time-Skalierung schafft. Bemerkenswerterweise übertrifft dieser hybride Ansatz unter einem festen Rechenbudget die state-of-the-art generative Verifikation deutlich: Er erreicht bis zu 15,3 % höhere Genauigkeit auf AIME2025. Unsere Ergebnisse zeigen, dass für praktische, reale Anwendungen die budgetbewusste Skalierung mit diskriminativen Verifizierern nicht nur eine „kostenlose“ Verbesserung gegenüber der Selbstkonsistenz darstellt, sondern auch eine effektivere und effizientere Alternative zu kostspieligen generativen Techniken ist. Der Code ist verfügbar unter https://github.com/wang-research-lab/verification.

English

Test-time scaling is a powerful strategy for boosting the performance of large language models on complex reasoning tasks. While state-of-the-art approaches often employ generative verifiers to select the best solution from a pool of candidates, this method incurs prohibitive computational costs, limiting its practicality. In this work, we shift the focus to a more budget-aware paradigm: discriminative verification. We conduct a thorough empirical analysis and demonstrate that while discriminative verifiers may underperform in isolation, combining them with self-consistency in a hybrid approach creates a powerful and efficient test-time scaling mechanism. Notably, under a fixed compute budget, this hybrid approach surpasses state-of-the-art generative verification by a significant margin: achieving up to 15.3\% higher accuracy on AIME2025. Our findings establish that for practical, real-world applications, budget-aware scaling with discriminative verifiers is not only a "free" upgrade over self-consistency, but also a more effective and efficient alternative to costly generative techniques. Code is available at https://github.com/wang-research-lab/verification.