Ridimensionamento Test-time Consapevole del Budget tramite Verifica Discriminativa

Budget-aware Test-time Scaling via Discriminative Verification

October 16, 2025

Autori: Kyle Montgomery, Sijun Tan, Yuqi Chen, Siyuan Zhuang, Tianjun Zhang, Raluca Ada Popa, Chenguang Wang

cs.AI

Abstract

Il ridimensionamento al momento del test è una strategia potente per migliorare le prestazioni dei modelli linguistici di grandi dimensioni su compiti di ragionamento complesso. Mentre gli approcci all'avanguardia spesso impiegano verificatori generativi per selezionare la soluzione migliore da un insieme di candidati, questo metodo comporta costi computazionali proibitivi, limitandone la praticità. In questo lavoro, spostiamo l'attenzione su un paradigma più attento al budget: la verifica discriminativa. Condurremo un'analisi empirica approfondita e dimostreremo che, sebbene i verificatori discriminativi possano essere meno performanti se utilizzati in isolamento, combinarli con l'auto-consistenza in un approccio ibrido crea un meccanismo di ridimensionamento al momento del test potente ed efficiente. In particolare, con un budget computazionale fisso, questo approccio ibrido supera di gran lunga la verifica generativa all'avanguardia: raggiungendo un'accuratezza fino al 15,3% superiore su AIME2025. I nostri risultati stabiliscono che, per applicazioni pratiche nel mondo reale, il ridimensionamento attento al budget con verificatori discriminativi non è solo un aggiornamento "gratuito" rispetto all'auto-consistenza, ma anche un'alternativa più efficace ed efficiente rispetto alle tecniche generative costose. Il codice è disponibile all'indirizzo https://github.com/wang-research-lab/verification.

English

Test-time scaling is a powerful strategy for boosting the performance of large language models on complex reasoning tasks. While state-of-the-art approaches often employ generative verifiers to select the best solution from a pool of candidates, this method incurs prohibitive computational costs, limiting its practicality. In this work, we shift the focus to a more budget-aware paradigm: discriminative verification. We conduct a thorough empirical analysis and demonstrate that while discriminative verifiers may underperform in isolation, combining them with self-consistency in a hybrid approach creates a powerful and efficient test-time scaling mechanism. Notably, under a fixed compute budget, this hybrid approach surpasses state-of-the-art generative verification by a significant margin: achieving up to 15.3\% higher accuracy on AIME2025. Our findings establish that for practical, real-world applications, budget-aware scaling with discriminative verifiers is not only a "free" upgrade over self-consistency, but also a more effective and efficient alternative to costly generative techniques. Code is available at https://github.com/wang-research-lab/verification.