Redeneermodellen kunnen hun vertrouwen beter uitdrukken

Reasoning Models Better Express Their Confidence

May 20, 2025

Auteurs: Dongkeun Yoon, Seungone Kim, Sohee Yang, Sunkyoung Kim, Soyeon Kim, Yongil Kim, Eunbi Choi, Yireun Kim, Minjoon Seo

cs.AI

Samenvatting

Ondanks hun sterke punten slagen grote taalmodellen (LLMs) er vaak niet in om hun vertrouwen accuraat te communiceren, wat het moeilijk maakt om te beoordelen wanneer ze fout zouden kunnen zijn en hun betrouwbaarheid beperkt. In dit werk tonen we aan dat redeneermodellen—LLMs die uitgebreide chain-of-thought (CoT) redenering toepassen—niet alleen superieure prestaties leveren in probleemoplossing, maar ook in het nauwkeurig uitdrukken van hun vertrouwen. Specifiek evalueren we zes redeneermodellen op zes datasets en constateren dat ze in 33 van de 36 gevallen een strikt betere vertrouwenscalibratie bereiken dan hun niet-redenerende tegenhangers. Onze gedetailleerde analyse onthult dat deze verbeteringen in calibratie voortkomen uit de langzame denkprocessen van redeneermodellen—zoals het verkennen van alternatieve benaderingen en terugkeren naar eerdere stappen—waardoor ze hun vertrouwen dynamisch kunnen aanpassen gedurende hun CoT, waardoor het geleidelijk aan nauwkeuriger wordt. In het bijzonder zien we dat redeneermodellen steeds beter gekalibreerd worden naarmate hun CoT vordert, een trend die niet wordt waargenomen bij niet-redenerende modellen. Bovendien leidt het verwijderen van langzame denkprocessen uit de CoT tot een significante daling in calibratie. Tot slot tonen we aan dat deze verbeteringen niet exclusief zijn voor redeneermodellen—ook niet-redenerende modellen profiteren wanneer ze worden begeleid om langzaam denken toe te passen via in-context learning.

English

Despite their strengths, large language models (LLMs) often fail to communicate their confidence accurately, making it difficult to assess when they might be wrong and limiting their reliability. In this work, we demonstrate that reasoning models-LLMs that engage in extended chain-of-thought (CoT) reasoning-exhibit superior performance not only in problem-solving but also in accurately expressing their confidence. Specifically, we benchmark six reasoning models across six datasets and find that they achieve strictly better confidence calibration than their non-reasoning counterparts in 33 out of the 36 settings. Our detailed analysis reveals that these gains in calibration stem from the slow thinking behaviors of reasoning models-such as exploring alternative approaches and backtracking-which enable them to adjust their confidence dynamically throughout their CoT, making it progressively more accurate. In particular, we find that reasoning models become increasingly better calibrated as their CoT unfolds, a trend not observed in non-reasoning models. Moreover, removing slow thinking behaviors from the CoT leads to a significant drop in calibration. Lastly, we show that these gains are not exclusive to reasoning models-non-reasoning models also benefit when guided to perform slow thinking via in-context learning.