Los modelos de razonamiento expresan mejor su confianza.

Reasoning Models Better Express Their Confidence

May 20, 2025

Autores: Dongkeun Yoon, Seungone Kim, Sohee Yang, Sunkyoung Kim, Soyeon Kim, Yongil Kim, Eunbi Choi, Yireun Kim, Minjoon Seo

cs.AI

Resumen

A pesar de sus fortalezas, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) a menudo no logran comunicar su confianza con precisión, lo que dificulta evaluar cuándo podrían estar equivocados y limita su fiabilidad. En este trabajo, demostramos que los modelos de razonamiento—LLMs que realizan cadenas de pensamiento (CoT, por sus siglas en inglés) extendidas—exhiben un rendimiento superior no solo en la resolución de problemas, sino también en expresar su confianza de manera precisa. Específicamente, evaluamos seis modelos de razonamiento en seis conjuntos de datos y encontramos que logran una calibración de confianza estrictamente mejor que sus contrapartes no razonadoras en 33 de los 36 escenarios. Nuestro análisis detallado revela que estas mejoras en la calibración se deben a los comportamientos de pensamiento lento de los modelos de razonamiento—como explorar enfoques alternativos y retroceder—lo que les permite ajustar su confianza dinámicamente a lo largo de su CoT, haciéndola progresivamente más precisa. En particular, observamos que los modelos de razonamiento se calibran cada vez mejor a medida que su CoT se desarrolla, una tendencia que no se observa en los modelos no razonadores. Además, eliminar los comportamientos de pensamiento lento del CoT conduce a una caída significativa en la calibración. Por último, mostramos que estas mejoras no son exclusivas de los modelos de razonamiento—los modelos no razonadores también se benefician cuando se les guía para realizar pensamiento lento mediante aprendizaje en contexto.

English

Despite their strengths, large language models (LLMs) often fail to communicate their confidence accurately, making it difficult to assess when they might be wrong and limiting their reliability. In this work, we demonstrate that reasoning models-LLMs that engage in extended chain-of-thought (CoT) reasoning-exhibit superior performance not only in problem-solving but also in accurately expressing their confidence. Specifically, we benchmark six reasoning models across six datasets and find that they achieve strictly better confidence calibration than their non-reasoning counterparts in 33 out of the 36 settings. Our detailed analysis reveals that these gains in calibration stem from the slow thinking behaviors of reasoning models-such as exploring alternative approaches and backtracking-which enable them to adjust their confidence dynamically throughout their CoT, making it progressively more accurate. In particular, we find that reasoning models become increasingly better calibrated as their CoT unfolds, a trend not observed in non-reasoning models. Moreover, removing slow thinking behaviors from the CoT leads to a significant drop in calibration. Lastly, we show that these gains are not exclusive to reasoning models-non-reasoning models also benefit when guided to perform slow thinking via in-context learning.