Escalonamento Eficiente em Tempo de Teste via Autocalibração

Efficient Test-Time Scaling via Self-Calibration

February 25, 2025

Autores: Chengsong Huang, Langlin Huang, Jixuan Leng, Jiacheng Liu, Jiaxin Huang

cs.AI

Resumo

Aumentar a computação durante o teste é uma abordagem direta para melhorar a qualidade das respostas em Modelos de Linguagem de Grande Escala (LLMs). Embora a amostragem Best-of-N e a Autoconsistência com votação majoritária sejam simples e eficazes, elas exigem um número fixo de respostas amostradas para cada consulta, independentemente de sua complexidade. Isso pode resultar em computação desperdiçada para perguntas mais simples e exploração insuficiente para as mais desafiadoras. Neste trabalho, argumentamos que a confiança do modelo nas respostas pode ser usada para melhorar a eficiência da escalabilidade durante o teste. Infelizmente, sabe-se que os LLMs são excessivamente confiantes e fornecem estimativas de confiança não confiáveis. Para superar essa limitação, introduzimos a Autocalibração, destilando a confiança derivada da Autoconsistência no próprio modelo. Isso permite uma estimativa confiável de confiança durante o teste com uma única passagem direta. Em seguida, projetamos métodos eficientes de escalabilidade durante o teste baseados em confiança para lidar com consultas de várias dificuldades, como a Interrupção Antecipada para Best-of-N e a Autoconsistência com confiança calibrada. Experimentos em três LLMs em seis conjuntos de dados demonstram a eficácia de nossa abordagem. Especificamente, aplicar a Interrupção Antecipada baseada em confiança ao Best-of-N melhora a precisão do MathQA de 81,0 para 83,6 com um orçamento de amostra de 16 respostas, indicando a eficácia da estratégia de amostragem baseada em confiança durante a inferência.

English

Increasing test-time computation is a straightforward approach to enhancing the quality of responses in Large Language Models (LLMs). While Best-of-N sampling and Self-Consistency with majority voting are simple and effective, they require a fixed number of sampling responses for each query, regardless of its complexity. This could result in wasted computation for simpler questions and insufficient exploration for more challenging ones. In this work, we argue that model confidence of responses can be used for improving the efficiency of test-time scaling. Unfortunately, LLMs are known to be overconfident and provide unreliable confidence estimation. To address this limitation, we introduce Self-Calibration by distilling Self-Consistency-derived confidence into the model itself. This enables reliable confidence estimation at test time with one forward pass. We then design confidence-based efficient test-time scaling methods to handle queries of various difficulty, such as Early-Stopping for Best-of-N and Self-Consistency with calibrated confidence. Experiments on three LLMs across six datasets demonstrate the effectiveness of our approach. Specifically, applying confidence-based Early Stopping to Best-of-N improves MathQA accuracy from 81.0 to 83.6 with a sample budget of 16 responses, indicating the efficacy of confidence-based sampling strategy at inference time.