Ripensare la Granularità Ottimale di Verifica per il Ridimensionamento Efficiente in Termini di Calcolo durante il Test

Rethinking Optimal Verification Granularity for Compute-Efficient Test-Time Scaling

May 16, 2025

Autori: Hao Mark Chen, Guanxi Lu, Yasuyuki Okoshi, Zhiwen Mo, Masato Motomura, Hongxiang Fan

cs.AI

Abstract

Il ridimensionamento al momento del test (Test-time Scaling, TTS) si è dimostrato efficace nel potenziare le capacità di ragionamento dei grandi modelli linguistici (Large Language Models, LLMs). La verifica svolge un ruolo chiave nel TTS, influenzando simultaneamente (1) le prestazioni di ragionamento e (2) l'efficienza computazionale, a causa della qualità e del costo computazionale della verifica stessa. In questo lavoro, mettiamo in discussione i paradigmi convenzionali della verifica e compiamo il primo tentativo di indagare sistematicamente l'impatto della granularità della verifica, ovvero con quale frequenza il verificatore viene invocato durante la generazione, andando oltre la semplice verifica dell'output finale o dei singoli passi di generazione. A tal fine, introduciamo la Ricerca a Granularità Variabile (Variable Granularity Search, VG-Search), un algoritmo unificato che generalizza la ricerca a fascio (beam search) e il campionamento Best-of-N attraverso un parametro di granularità regolabile g. Esperimenti estesi con VG-Search, condotti con diversi budget computazionali, configurazioni generatore-verificatore e attributi del task, rivelano che la selezione dinamica di g può migliorare l'efficienza computazionale e il comportamento di ridimensionamento. Sulla base di questi risultati, proponiamo strategie adattive di VG-Search che raggiungono miglioramenti in accuratezza fino al 3,1% rispetto alla ricerca a fascio e al 3,6% rispetto al Best-of-N, riducendo al contempo i FLOPs di oltre il 52%. Renderemo disponibile il codice open-source per supportare la ricerca futura.

English

Test-time scaling (TTS) has proven effective in enhancing the reasoning capabilities of large language models (LLMs). Verification plays a key role in TTS, simultaneously influencing (1) reasoning performance and (2) compute efficiency, due to the quality and computational cost of verification. In this work, we challenge the conventional paradigms of verification, and make the first attempt toward systematically investigating the impact of verification granularity-that is, how frequently the verifier is invoked during generation, beyond verifying only the final output or individual generation steps. To this end, we introduce Variable Granularity Search (VG-Search), a unified algorithm that generalizes beam search and Best-of-N sampling via a tunable granularity parameter g. Extensive experiments with VG-Search under varying compute budgets, generator-verifier configurations, and task attributes reveal that dynamically selecting g can improve the compute efficiency and scaling behavior. Building on these findings, we propose adaptive VG-Search strategies that achieve accuracy gains of up to 3.1\% over Beam Search and 3.6\% over Best-of-N, while reducing FLOPs by over 52\%. We will open-source the code to support future research.