Переосмысление оптимальной гранулярности проверки для эффективного масштабирования на этапе тестирования

Rethinking Optimal Verification Granularity for Compute-Efficient Test-Time Scaling

May 16, 2025

Авторы: Hao Mark Chen, Guanxi Lu, Yasuyuki Okoshi, Zhiwen Mo, Masato Motomura, Hongxiang Fan

cs.AI

Аннотация

Масштабирование во время тестирования (Test-time scaling, TTS) доказало свою эффективность в улучшении способностей к рассуждению у крупных языковых моделей (LLM). Проверка играет ключевую роль в TTS, одновременно влияя на (1) производительность рассуждений и (2) вычислительную эффективность, что обусловлено качеством и вычислительной стоимостью проверки. В данной работе мы бросаем вызов традиционным парадигмам проверки и впервые систематически исследуем влияние гранулярности проверки — то есть, как часто проверяющий механизм вызывается в процессе генерации, выходя за рамки проверки только конечного результата или отдельных шагов генерации. С этой целью мы представляем алгоритм Variable Granularity Search (VG-Search), который обобщает поиск по лучу (Beam Search) и выборку Best-of-N с помощью настраиваемого параметра гранулярности g. Многочисленные эксперименты с VG-Search при различных вычислительных бюджетах, конфигурациях генератора-проверяющего и атрибутах задач показывают, что динамический выбор g может улучшить вычислительную эффективность и поведение масштабирования. На основе этих результатов мы предлагаем адаптивные стратегии VG-Search, которые достигают повышения точности до 3,1% по сравнению с Beam Search и 3,6% по сравнению с Best-of-N, одновременно сокращая количество FLOPs более чем на 52%. Мы опубликуем исходный код для поддержки будущих исследований.

English

Test-time scaling (TTS) has proven effective in enhancing the reasoning capabilities of large language models (LLMs). Verification plays a key role in TTS, simultaneously influencing (1) reasoning performance and (2) compute efficiency, due to the quality and computational cost of verification. In this work, we challenge the conventional paradigms of verification, and make the first attempt toward systematically investigating the impact of verification granularity-that is, how frequently the verifier is invoked during generation, beyond verifying only the final output or individual generation steps. To this end, we introduce Variable Granularity Search (VG-Search), a unified algorithm that generalizes beam search and Best-of-N sampling via a tunable granularity parameter g. Extensive experiments with VG-Search under varying compute budgets, generator-verifier configurations, and task attributes reveal that dynamically selecting g can improve the compute efficiency and scaling behavior. Building on these findings, we propose adaptive VG-Search strategies that achieve accuracy gains of up to 3.1\% over Beam Search and 3.6\% over Best-of-N, while reducing FLOPs by over 52\%. We will open-source the code to support future research.