Mise à l'échelle efficace en temps de test via auto-étalonnage

Efficient Test-Time Scaling via Self-Calibration

February 25, 2025

Auteurs: Chengsong Huang, Langlin Huang, Jixuan Leng, Jiacheng Liu, Jiaxin Huang

cs.AI

Résumé

L'augmentation du calcul au moment du test est une approche directe pour améliorer la qualité des réponses des modèles de langage à grande échelle (LLMs). Bien que l'échantillonnage Best-of-N et la cohérence interne avec vote majoritaire soient simples et efficaces, ils nécessitent un nombre fixe de réponses échantillonnées pour chaque requête, indépendamment de sa complexité. Cela peut entraîner un gaspillage de calcul pour des questions plus simples et une exploration insuffisante pour des questions plus difficiles. Dans ce travail, nous soutenons que la confiance du modèle dans ses réponses peut être utilisée pour améliorer l'efficacité de la mise à l'échelle au moment du test. Malheureusement, les LLMs sont connus pour être trop confiants et fournir des estimations de confiance peu fiables. Pour remédier à cette limitation, nous introduisons l'auto-étalonnage en distillant la confiance dérivée de la cohérence interne dans le modèle lui-même. Cela permet une estimation fiable de la confiance au moment du test avec une seule passe avant. Nous concevons ensuite des méthodes de mise à l'échelle efficaces basées sur la confiance pour gérer des requêtes de difficulté variée, telles que l'arrêt précoce pour Best-of-N et la cohérence interne avec une confiance étalonnée. Les expériences sur trois LLMs à travers six ensembles de données démontrent l'efficacité de notre approche. Plus précisément, l'application de l'arrêt précoce basé sur la confiance à Best-of-N améliore la précision de MathQA de 81,0 à 83,6 avec un budget d'échantillonnage de 16 réponses, indiquant l'efficacité de la stratégie d'échantillonnage basée sur la confiance au moment de l'inférence.

English

Increasing test-time computation is a straightforward approach to enhancing the quality of responses in Large Language Models (LLMs). While Best-of-N sampling and Self-Consistency with majority voting are simple and effective, they require a fixed number of sampling responses for each query, regardless of its complexity. This could result in wasted computation for simpler questions and insufficient exploration for more challenging ones. In this work, we argue that model confidence of responses can be used for improving the efficiency of test-time scaling. Unfortunately, LLMs are known to be overconfident and provide unreliable confidence estimation. To address this limitation, we introduce Self-Calibration by distilling Self-Consistency-derived confidence into the model itself. This enables reliable confidence estimation at test time with one forward pass. We then design confidence-based efficient test-time scaling methods to handle queries of various difficulty, such as Early-Stopping for Best-of-N and Self-Consistency with calibrated confidence. Experiments on three LLMs across six datasets demonstrate the effectiveness of our approach. Specifically, applying confidence-based Early Stopping to Best-of-N improves MathQA accuracy from 81.0 to 83.6 with a sample budget of 16 responses, indicating the efficacy of confidence-based sampling strategy at inference time.