Vernunftmodelle drücken ihr Vertrauen besser aus

Reasoning Models Better Express Their Confidence

May 20, 2025

Autoren: Dongkeun Yoon, Seungone Kim, Sohee Yang, Sunkyoung Kim, Soyeon Kim, Yongil Kim, Eunbi Choi, Yireun Kim, Minjoon Seo

cs.AI

Zusammenfassung

Trotz ihrer Stärken gelingt es großen Sprachmodellen (LLMs) oft nicht, ihr Vertrauen präzise zu kommunizieren, was es schwierig macht, einzuschätzen, wann sie falsch liegen könnten, und ihre Zuverlässigkeit einschränkt. In dieser Arbeit zeigen wir, dass Reasoning-Modelle – LLMs, die eine ausgedehnte Chain-of-Thought (CoT)-Argumentation durchführen – nicht nur bei der Problemlösung, sondern auch bei der präzisen Darstellung ihres Vertrauens eine überlegene Leistung erbringen. Insbesondere vergleichen wir sechs Reasoning-Modelle über sechs Datensätze hinweg und stellen fest, dass sie in 33 von 36 Szenarien eine deutlich bessere Kalibrierung des Vertrauens erreichen als ihre nicht-reasoning-basierten Gegenstücke. Unsere detaillierte Analyse zeigt, dass diese Verbesserungen in der Kalibrierung auf das langsame Denkverhalten der Reasoning-Modelle zurückzuführen sind – wie das Erkunden alternativer Ansätze und das Rückverfolgen von Schritten –, das es ihnen ermöglicht, ihr Vertrauen dynamisch während des CoT anzupassen und es dadurch zunehmend präziser zu machen. Insbesondere stellen wir fest, dass Reasoning-Modelle im Verlauf des CoT immer besser kalibriert werden, ein Trend, der bei nicht-reasoning-basierten Modellen nicht zu beobachten ist. Darüber hinaus führt das Entfernen des langsamen Denkverhaltens aus dem CoT zu einem signifikanten Rückgang der Kalibrierung. Schließlich zeigen wir, dass diese Verbesserungen nicht auf Reasoning-Modelle beschränkt sind – auch nicht-reasoning-basierte Modelle profitieren, wenn sie durch In-Context-Learning zum langsamen Denken angeleitet werden.

English

Despite their strengths, large language models (LLMs) often fail to communicate their confidence accurately, making it difficult to assess when they might be wrong and limiting their reliability. In this work, we demonstrate that reasoning models-LLMs that engage in extended chain-of-thought (CoT) reasoning-exhibit superior performance not only in problem-solving but also in accurately expressing their confidence. Specifically, we benchmark six reasoning models across six datasets and find that they achieve strictly better confidence calibration than their non-reasoning counterparts in 33 out of the 36 settings. Our detailed analysis reveals that these gains in calibration stem from the slow thinking behaviors of reasoning models-such as exploring alternative approaches and backtracking-which enable them to adjust their confidence dynamically throughout their CoT, making it progressively more accurate. In particular, we find that reasoning models become increasingly better calibrated as their CoT unfolds, a trend not observed in non-reasoning models. Moreover, removing slow thinking behaviors from the CoT leads to a significant drop in calibration. Lastly, we show that these gains are not exclusive to reasoning models-non-reasoning models also benefit when guided to perform slow thinking via in-context learning.