Repensando a Granularidade Ótima de Verificação para Escalonamento Eficiente em Termos de Computação Durante o Teste
Rethinking Optimal Verification Granularity for Compute-Efficient Test-Time Scaling
May 16, 2025
Autores: Hao Mark Chen, Guanxi Lu, Yasuyuki Okoshi, Zhiwen Mo, Masato Motomura, Hongxiang Fan
cs.AI
Resumo
A escala em tempo de teste (TTS) tem se mostrado eficaz para aprimorar as capacidades de raciocínio de grandes modelos de linguagem (LLMs). A verificação desempenha um papel fundamental no TTS, influenciando simultaneamente (1) o desempenho do raciocínio e (2) a eficiência computacional, devido à qualidade e ao custo computacional da verificação. Neste trabalho, questionamos os paradigmas convencionais de verificação e fazemos a primeira tentativa de investigar sistematicamente o impacto da granularidade da verificação — ou seja, com que frequência o verificador é invocado durante a geração, indo além da verificação apenas da saída final ou de etapas individuais de geração. Para isso, introduzimos a Busca de Granularidade Variável (VG-Search), um algoritmo unificado que generaliza a busca em feixe (beam search) e a amostragem Best-of-N por meio de um parâmetro de granularidade ajustável g. Experimentos extensivos com VG-Search sob diferentes orçamentos computacionais, configurações gerador-verificador e atributos de tarefa revelam que a seleção dinâmica de g pode melhorar a eficiência computacional e o comportamento de escala. Com base nessas descobertas, propomos estratégias adaptativas de VG-Search que alcançam ganhos de precisão de até 3,1% em relação à Busca em Feixe e 3,6% em relação à Best-of-N, enquanto reduzem os FLOPs em mais de 52%. O código será disponibilizado como open-source para apoiar pesquisas futuras.
English
Test-time scaling (TTS) has proven effective in enhancing the reasoning
capabilities of large language models (LLMs). Verification plays a key role in
TTS, simultaneously influencing (1) reasoning performance and (2) compute
efficiency, due to the quality and computational cost of verification. In this
work, we challenge the conventional paradigms of verification, and make the
first attempt toward systematically investigating the impact of verification
granularity-that is, how frequently the verifier is invoked during generation,
beyond verifying only the final output or individual generation steps. To this
end, we introduce Variable Granularity Search (VG-Search), a unified algorithm
that generalizes beam search and Best-of-N sampling via a tunable granularity
parameter g. Extensive experiments with VG-Search under varying compute
budgets, generator-verifier configurations, and task attributes reveal that
dynamically selecting g can improve the compute efficiency and scaling
behavior. Building on these findings, we propose adaptive VG-Search strategies
that achieve accuracy gains of up to 3.1\% over Beam Search and 3.6\% over
Best-of-N, while reducing FLOPs by over 52\%. We will open-source the code to
support future research.