Effiziente Testzeit-Skalierung durch Selbstkalibrierung

Efficient Test-Time Scaling via Self-Calibration

February 25, 2025

Autoren: Chengsong Huang, Langlin Huang, Jixuan Leng, Jiacheng Liu, Jiaxin Huang

cs.AI

Zusammenfassung

Die Erhöhung des Rechenaufwands zur Testzeit ist ein direkter Ansatz, um die Qualität der Antworten von Large Language Models (LLMs) zu verbessern. Während Best-of-N-Sampling und Self-Consistency mit Mehrheitsentscheid einfach und effektiv sind, erfordern sie eine feste Anzahl von Sampling-Antworten für jede Anfrage, unabhängig von deren Komplexität. Dies kann zu verschwendetem Rechenaufwand bei einfacheren Fragen und unzureichender Exploration bei schwierigeren Fragen führen. In dieser Arbeit argumentieren wir, dass das Modellvertrauen in die Antworten genutzt werden kann, um die Effizienz der Skalierung zur Testzeit zu verbessern. Leider ist bekannt, dass LLMs übermäßig selbstbewusst sind und unzuverlässige Vertrauensschätzungen liefern. Um diese Einschränkung zu überwinden, führen wir Self-Calibration ein, indem wir das aus Self-Consistency abgeleitete Vertrauen in das Modell selbst destillieren. Dies ermöglicht eine zuverlässige Vertrauensschätzung zur Testzeit mit einem einzigen Vorwärtsdurchlauf. Anschließend entwerfen wir effiziente Testzeit-Skalierungsmethoden basierend auf Vertrauen, um Anfragen unterschiedlicher Schwierigkeit zu behandeln, wie z.B. Early-Stopping für Best-of-N und Self-Consistency mit kalibriertem Vertrauen. Experimente mit drei LLMs über sechs Datensätze demonstrieren die Wirksamkeit unseres Ansatzes. Insbesondere verbessert die Anwendung von Early Stopping basierend auf Vertrauen bei Best-of-N die Genauigkeit von MathQA von 81,0 auf 83,6 bei einem Stichprobenbudget von 16 Antworten, was die Effektivität der vertrauensbasierten Sampling-Strategie zur Inferenzzeit verdeutlicht.

English

Increasing test-time computation is a straightforward approach to enhancing the quality of responses in Large Language Models (LLMs). While Best-of-N sampling and Self-Consistency with majority voting are simple and effective, they require a fixed number of sampling responses for each query, regardless of its complexity. This could result in wasted computation for simpler questions and insufficient exploration for more challenging ones. In this work, we argue that model confidence of responses can be used for improving the efficiency of test-time scaling. Unfortunately, LLMs are known to be overconfident and provide unreliable confidence estimation. To address this limitation, we introduce Self-Calibration by distilling Self-Consistency-derived confidence into the model itself. This enables reliable confidence estimation at test time with one forward pass. We then design confidence-based efficient test-time scaling methods to handle queries of various difficulty, such as Early-Stopping for Best-of-N and Self-Consistency with calibrated confidence. Experiments on three LLMs across six datasets demonstrate the effectiveness of our approach. Specifically, applying confidence-based Early Stopping to Best-of-N improves MathQA accuracy from 81.0 to 83.6 with a sample budget of 16 responses, indicating the efficacy of confidence-based sampling strategy at inference time.