추론 모델은 자신의 확신을 더 잘 표현한다.

Reasoning Models Better Express Their Confidence

May 20, 2025

저자: Dongkeun Yoon, Seungone Kim, Sohee Yang, Sunkyoung Kim, Soyeon Kim, Yongil Kim, Eunbi Choi, Yireun Kim, Minjoon Seo

cs.AI

초록

강력한 성능에도 불구하고, 대형 언어 모델(LLM)은 종종 자신의 확신을 정확히 전달하지 못해, 언제 잘못될 수 있는지 판단하기 어렵고 신뢰성을 제한합니다. 본 연구에서는 확장된 사고 연쇄(CoT) 추론을 수행하는 추론 모델이 문제 해결뿐만 아니라 자신의 확신을 정확히 표현하는 데서도 우수한 성능을 보인다는 것을 입증합니다. 구체적으로, 6개의 데이터셋에서 6개의 추론 모델을 벤치마킹한 결과, 36개 설정 중 33개에서 비추론 모델 대비 엄격히 더 나은 신뢰도 보정을 달성했습니다. 상세 분석 결과, 이러한 보정 개선은 추론 모델의 '느린 사고' 행동(예: 대안 접근법 탐색 및 역추적)에서 비롯되며, 이는 CoT 과정에서 자신의 확신을 동적으로 조정하여 점점 더 정확하게 만드는 것으로 나타났습니다. 특히, 추론 모델은 CoT가 전개될수록 점점 더 잘 보정되는 반면, 비추론 모델에서는 이러한 경향이 관찰되지 않았습니다. 또한, CoT에서 느린 사고 행동을 제거하면 보정이 크게 저하됩니다. 마지막으로, 이러한 이점이 추론 모델에만 국한되지 않음을 보여주며, 비추론 모델도 문맥 학습을 통해 느린 사고를 수행하도록 유도할 때 이익을 얻는 것을 확인했습니다.

English

Despite their strengths, large language models (LLMs) often fail to communicate their confidence accurately, making it difficult to assess when they might be wrong and limiting their reliability. In this work, we demonstrate that reasoning models-LLMs that engage in extended chain-of-thought (CoT) reasoning-exhibit superior performance not only in problem-solving but also in accurately expressing their confidence. Specifically, we benchmark six reasoning models across six datasets and find that they achieve strictly better confidence calibration than their non-reasoning counterparts in 33 out of the 36 settings. Our detailed analysis reveals that these gains in calibration stem from the slow thinking behaviors of reasoning models-such as exploring alternative approaches and backtracking-which enable them to adjust their confidence dynamically throughout their CoT, making it progressively more accurate. In particular, we find that reasoning models become increasingly better calibrated as their CoT unfolds, a trend not observed in non-reasoning models. Moreover, removing slow thinking behaviors from the CoT leads to a significant drop in calibration. Lastly, we show that these gains are not exclusive to reasoning models-non-reasoning models also benefit when guided to perform slow thinking via in-context learning.