Compreendendo o Raciocínio em LLMs por meio da Alocação Estratégica de Informação sob Incerteza
Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty
March 16, 2026
Autores: Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dongsheng Li, Yuqing Yang
cs.AI
Resumo
Os LLMs frequentemente exibem momentos de insight durante o raciocínio, como aparentes autocorreções após tokens como "Espere", mas seus mecanismos subjacentes permanecem obscuros. Introduzimos uma estrutura teórica da informação que decompõe o raciocínio em informação processual e verbalização epistêmica - a externalização explícita de incerteza que suporta ações de controle subsequentes. Demonstramos que o raciocínio puramente processual pode tornar-se informacionalmente estagnado, enquanto a verbalização epistêmica permite a aquisição contínua de informação e é crucial para atingir a suficiência informacional. Resultados empíricos demonstram que o forte desempenho do raciocínio é impulsionado pela externalização da incerteza, e não por tokens superficiais específicos. Nossa estrutura unifica descobertas anteriores sobre momentos de insight e experimentos pós-treinamento, e oferece insights para o futuro design de modelos de raciocínio.
English
LLMs often exhibit Aha moments during reasoning, such as apparent self-correction following tokens like "Wait," yet their underlying mechanisms remain unclear. We introduce an information-theoretic framework that decomposes reasoning into procedural information and epistemic verbalization - the explicit externalization of uncertainty that supports downstream control actions. We show that purely procedural reasoning can become informationally stagnant, whereas epistemic verbalization enables continued information acquisition and is critical for achieving information sufficiency. Empirical results demonstrate that strong reasoning performance is driven by uncertainty externalization rather than specific surface tokens. Our framework unifies prior findings on Aha moments and post-training experiments, and offers insights for future reasoning model design.