Neubewertung der optimalen Verifizierungsgranularität für recheneffizientes Skalieren zur Testzeit

Rethinking Optimal Verification Granularity for Compute-Efficient Test-Time Scaling

May 16, 2025

Autoren: Hao Mark Chen, Guanxi Lu, Yasuyuki Okoshi, Zhiwen Mo, Masato Motomura, Hongxiang Fan

cs.AI

Zusammenfassung

Test-Time Scaling (TTS) hat sich als effektiv erwiesen, um die Fähigkeiten großer Sprachmodelle (LLMs) zur logischen Schlussfolgerung zu verbessern. Die Verifikation spielt dabei eine Schlüsselrolle, da sie gleichzeitig (1) die Leistung bei der Schlussfolgerung und (2) die Recheneffizienz beeinflusst, was auf die Qualität und die Rechenkosten der Verifikation zurückzuführen ist. In dieser Arbeit stellen wir die konventionellen Paradigmen der Verifikation in Frage und unternehmen den ersten systematischen Versuch, die Auswirkungen der Verifikationsgranularität zu untersuchen – also wie häufig der Verifizierer während der Generierung aufgerufen wird, über die Überprüfung des finalen Outputs oder einzelner Generierungsschritte hinaus. Zu diesem Zweck führen wir Variable Granularity Search (VG-Search) ein, einen einheitlichen Algorithmus, der Beam Search und Best-of-N Sampling über einen einstellbaren Granularitätsparameter g verallgemeinert. Umfangreiche Experimente mit VG-Search unter variierenden Rechenbudgets, Generator-Verifizierer-Konfigurationen und Aufgabenmerkmalen zeigen, dass die dynamische Auswahl von g die Recheneffizienz und das Skalierungsverhalten verbessern kann. Aufbauend auf diesen Erkenntnissen schlagen wir adaptive VG-Search-Strategien vor, die Genauigkeitsgewinne von bis zu 3,1 % gegenüber Beam Search und 3,6 % gegenüber Best-of-N erzielen, während die FLOPs um über 52 % reduziert werden. Wir werden den Code Open-Source bereitstellen, um zukünftige Forschung zu unterstützen.

English

Test-time scaling (TTS) has proven effective in enhancing the reasoning capabilities of large language models (LLMs). Verification plays a key role in TTS, simultaneously influencing (1) reasoning performance and (2) compute efficiency, due to the quality and computational cost of verification. In this work, we challenge the conventional paradigms of verification, and make the first attempt toward systematically investigating the impact of verification granularity-that is, how frequently the verifier is invoked during generation, beyond verifying only the final output or individual generation steps. To this end, we introduce Variable Granularity Search (VG-Search), a unified algorithm that generalizes beam search and Best-of-N sampling via a tunable granularity parameter g. Extensive experiments with VG-Search under varying compute budgets, generator-verifier configurations, and task attributes reveal that dynamically selecting g can improve the compute efficiency and scaling behavior. Building on these findings, we propose adaptive VG-Search strategies that achieve accuracy gains of up to 3.1\% over Beam Search and 3.6\% over Best-of-N, while reducing FLOPs by over 52\%. We will open-source the code to support future research.