Redeneren in LLM's begrijpen door middel van strategische informatieallocatie onder onzekerheid
Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty
March 16, 2026
Auteurs: Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dongsheng Li, Yuqing Yang
cs.AI
Samenvatting
LLM's vertonen vaak Aha-momenten tijdens redeneren, zoals schijnbare zelfcorrectie na tokens als "Wacht", maar hun onderliggende mechanismen blijven onduidelijk. Wij introduceren een informatie-theoretisch kader dat redeneren ontleedt in procedurele informatie en epistemische verbalisatie - de expliciete externalisatie van onzekerheid die stroomafwaartse controleacties ondersteunt. Wij tonen aan dat puur procedureel redeneren informationeel stagneert, terwijl epistemische verbalisatie voortgezette informatieverwerving mogelijk maakt en cruciaal is voor het bereiken van informatievoldoendeheid. Empirische resultaten tonen aan dat sterke redeneerprestaties worden gedreven door onzekerheidsexternalisatie in plaats van specifieke oppervlaktetokens. Ons kader verenigt eerdere bevindingen over Aha-momenten en post-trainingsexperimenten, en biedt inzichten voor toekomstig redeneermodelontwerp.
English
LLMs often exhibit Aha moments during reasoning, such as apparent self-correction following tokens like "Wait," yet their underlying mechanisms remain unclear. We introduce an information-theoretic framework that decomposes reasoning into procedural information and epistemic verbalization - the explicit externalization of uncertainty that supports downstream control actions. We show that purely procedural reasoning can become informationally stagnant, whereas epistemic verbalization enables continued information acquisition and is critical for achieving information sufficiency. Empirical results demonstrate that strong reasoning performance is driven by uncertainty externalization rather than specific surface tokens. Our framework unifies prior findings on Aha moments and post-training experiments, and offers insights for future reasoning model design.