Compréhension du raisonnement dans les LLM via l'allocation stratégique de l'information sous incertitude
Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty
March 16, 2026
Auteurs: Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dongsheng Li, Yuqing Yang
cs.AI
Résumé
Les LLM manifestent souvent des moments d'illumination lors du raisonnement, comme des auto-corrections apparentes suite à des tokens tels que "Attends", mais leurs mécanismes sous-jacents restent obscurs. Nous introduisons un cadre informationnel qui décompose le raisonnement en information procédurale et verbalisation épistémique - l'externalisation explicite de l'incertitude qui soutient les actions de contrôle en aval. Nous montrons qu'un raisonnement purement procédural peut devenir informationnellement stagnant, tandis que la verbalisation épistémique permet une acquisition continue d'information et est cruciale pour atteindre une suffisance informationnelle. Les résultats empiriques démontrent que les performances de raisonnement sont pilotées par l'externalisation de l'incertitude plutôt que par des tokens de surface spécifiques. Notre cadre unifie les découvertes antérieures sur les moments d'illumination et les expériences post-entraînement, et offre des perspectives pour la conception future de modèles de raisonnement.
English
LLMs often exhibit Aha moments during reasoning, such as apparent self-correction following tokens like "Wait," yet their underlying mechanisms remain unclear. We introduce an information-theoretic framework that decomposes reasoning into procedural information and epistemic verbalization - the explicit externalization of uncertainty that supports downstream control actions. We show that purely procedural reasoning can become informationally stagnant, whereas epistemic verbalization enables continued information acquisition and is critical for achieving information sufficiency. Empirical results demonstrate that strong reasoning performance is driven by uncertainty externalization rather than specific surface tokens. Our framework unifies prior findings on Aha moments and post-training experiments, and offers insights for future reasoning model design.