Comprensión del razonamiento en LLMs mediante la asignación estratégica de información bajo incertidumbre
Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty
March 16, 2026
Autores: Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dongsheng Li, Yuqing Yang
cs.AI
Resumen
Los LLM a menudo exhiben momentos de "¡Ajá!" durante el razonamiento, como aparentes autocorrecciones tras tokens como "Espere", aunque sus mecanismos subyacentes siguen sin estar claros. Introducimos un marco teórico-informacional que descompone el razonamiento en información procedimental y verbalización epistémica: la externalización explícita de la incertidumbre que respalda acciones de control posteriores. Demostramos que el razonamiento puramente procedimental puede estancarse informacionalmente, mientras que la verbalización epistémica permite la adquisición continua de información y es crucial para alcanzar la suficiencia informativa. Los resultados empíricos demuestran que el fuerte rendimiento del razonamiento está impulsado por la externalización de la incertidumbre, no por tokens superficiales específicos. Nuestro marco unifica hallazgos previos sobre momentos de "¡Ajá!" y experimentos de post-entrenamiento, y ofrece perspectivas para el futuro diseño de modelos de razonamiento.
English
LLMs often exhibit Aha moments during reasoning, such as apparent self-correction following tokens like "Wait," yet their underlying mechanisms remain unclear. We introduce an information-theoretic framework that decomposes reasoning into procedural information and epistemic verbalization - the explicit externalization of uncertainty that supports downstream control actions. We show that purely procedural reasoning can become informationally stagnant, whereas epistemic verbalization enables continued information acquisition and is critical for achieving information sufficiency. Empirical results demonstrate that strong reasoning performance is driven by uncertainty externalization rather than specific surface tokens. Our framework unifies prior findings on Aha moments and post-training experiments, and offers insights for future reasoning model design.