Les modèles de raisonnement expriment mieux leur niveau de confiance

Reasoning Models Better Express Their Confidence

May 20, 2025

Auteurs: Dongkeun Yoon, Seungone Kim, Sohee Yang, Sunkyoung Kim, Soyeon Kim, Yongil Kim, Eunbi Choi, Yireun Kim, Minjoon Seo

cs.AI

Résumé

Malgré leurs forces, les grands modèles de langage (LLMs) échouent souvent à communiquer leur confiance avec précision, rendant difficile l'évaluation de leurs erreurs potentielles et limitant ainsi leur fiabilité. Dans ce travail, nous démontrons que les modèles de raisonnement - des LLMs qui s'engagent dans un raisonnement en chaîne de pensée (CoT) étendu - présentent des performances supérieures non seulement en résolution de problèmes, mais aussi dans l'expression précise de leur confiance. Plus précisément, nous évaluons six modèles de raisonnement sur six ensembles de données et constatons qu'ils obtiennent une calibration de la confiance strictement meilleure que leurs homologues non raisonneurs dans 33 des 36 configurations. Notre analyse détaillée révèle que ces gains en calibration découlent des comportements de "pensée lente" des modèles de raisonnement - tels que l'exploration d'approches alternatives et le retour en arrière - qui leur permettent d'ajuster leur confiance de manière dynamique tout au long de leur CoT, la rendant progressivement plus précise. En particulier, nous observons que les modèles de raisonnement deviennent de mieux en mieux calibrés au fur et à mesure que leur CoT se déroule, une tendance absente chez les modèles non raisonneurs. De plus, la suppression des comportements de pensée lente du CoT entraîne une baisse significative de la calibration. Enfin, nous montrons que ces gains ne sont pas exclusifs aux modèles de raisonnement - les modèles non raisonneurs en bénéficient également lorsqu'ils sont guidés pour adopter une pensée lente via l'apprentissage en contexte.

English

Despite their strengths, large language models (LLMs) often fail to communicate their confidence accurately, making it difficult to assess when they might be wrong and limiting their reliability. In this work, we demonstrate that reasoning models-LLMs that engage in extended chain-of-thought (CoT) reasoning-exhibit superior performance not only in problem-solving but also in accurately expressing their confidence. Specifically, we benchmark six reasoning models across six datasets and find that they achieve strictly better confidence calibration than their non-reasoning counterparts in 33 out of the 36 settings. Our detailed analysis reveals that these gains in calibration stem from the slow thinking behaviors of reasoning models-such as exploring alternative approaches and backtracking-which enable them to adjust their confidence dynamically throughout their CoT, making it progressively more accurate. In particular, we find that reasoning models become increasingly better calibrated as their CoT unfolds, a trend not observed in non-reasoning models. Moreover, removing slow thinking behaviors from the CoT leads to a significant drop in calibration. Lastly, we show that these gains are not exclusive to reasoning models-non-reasoning models also benefit when guided to perform slow thinking via in-context learning.