Scalabilità Efficiente durante il Test tramite Auto-Calibrazione

Efficient Test-Time Scaling via Self-Calibration

February 25, 2025

Autori: Chengsong Huang, Langlin Huang, Jixuan Leng, Jiacheng Liu, Jiaxin Huang

cs.AI

Abstract

Aumentare il calcolo durante il test è un approccio diretto per migliorare la qualità delle risposte nei Modelli Linguistici di Grande Scala (LLM). Sebbene il campionamento Best-of-N e la Self-Consistency con voto a maggioranza siano semplici ed efficaci, richiedono un numero fisso di risposte campionate per ogni query, indipendentemente dalla sua complessità. Ciò potrebbe portare a uno spreco di calcolo per domande più semplici e a un'esplorazione insufficiente per quelle più complesse. In questo lavoro, sosteniamo che la fiducia del modello nelle risposte può essere utilizzata per migliorare l'efficienza del ridimensionamento durante il test. Sfortunatamente, è noto che i LLM tendono a essere eccessivamente sicuri di sé e forniscono stime di fiducia inaffidabili. Per affrontare questa limitazione, introduciamo la Self-Calibration distillando la fiducia derivata dalla Self-Consistency nel modello stesso. Ciò consente una stima affidabile della fiducia durante il test con un solo passaggio in avanti. Progettiamo quindi metodi efficienti di ridimensionamento durante il test basati sulla fiducia per gestire query di varia difficoltà, come l'Early-Stopping per Best-of-N e la Self-Consistency con fiducia calibrata. Esperimenti su tre LLM attraverso sei dataset dimostrano l'efficacia del nostro approccio. In particolare, applicare l'Early Stopping basato sulla fiducia a Best-of-N migliora l'accuratezza di MathQA da 81,0 a 83,6 con un budget di 16 risposte campionate, indicando l'efficacia della strategia di campionamento basata sulla fiducia durante l'inferenza.

English

Increasing test-time computation is a straightforward approach to enhancing the quality of responses in Large Language Models (LLMs). While Best-of-N sampling and Self-Consistency with majority voting are simple and effective, they require a fixed number of sampling responses for each query, regardless of its complexity. This could result in wasted computation for simpler questions and insufficient exploration for more challenging ones. In this work, we argue that model confidence of responses can be used for improving the efficiency of test-time scaling. Unfortunately, LLMs are known to be overconfident and provide unreliable confidence estimation. To address this limitation, we introduce Self-Calibration by distilling Self-Consistency-derived confidence into the model itself. This enables reliable confidence estimation at test time with one forward pass. We then design confidence-based efficient test-time scaling methods to handle queries of various difficulty, such as Early-Stopping for Best-of-N and Self-Consistency with calibrated confidence. Experiments on three LLMs across six datasets demonstrate the effectiveness of our approach. Specifically, applying confidence-based Early Stopping to Best-of-N improves MathQA accuracy from 81.0 to 83.6 with a sample budget of 16 responses, indicating the efficacy of confidence-based sampling strategy at inference time.