Verstehen von Argumentationsfähigkeiten in LLMs durch strategische Informationsallokation unter Unsicherheit
Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty
March 16, 2026
Autoren: Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dongsheng Li, Yuqing Yang
cs.AI
Zusammenfassung
Große Sprachmodelle zeigen oft Aha-Momente während des Schlussfolgerns, etwa scheinbare Selbstkorrekturen nach Tokens wie "Moment", doch ihre zugrundeliegenden Mechanismen bleiben unklar. Wir stellen ein informationstheoretisches Rahmenwerk vor, das Schlussfolgern in prozedurale Information und epistemische Verbalisierung zerlegt – die explizite Externalisierung von Unsicherheit, die nachgelagerte Steuerungsaktionen unterstützt. Wir zeigen, dass rein prozedurales Schlussfolgern informationell stagnieren kann, während epistemische Verbalisierung fortgesetzten Informationserwerb ermöglicht und entscheidend für das Erreichen von Informationssuffizienz ist. Empirische Ergebnisse belegen, dass starke Schlussfolgerungsleistung durch Unsicherheitsexternalisierung und nicht durch spezifische Oberflächentokens angetrieben wird. Unser Rahmenwerk vereint frühere Erkenntnisse zu Aha-Momenten und Post-Training-Experimenten und bietet Einblicke für die zukünftige Gestaltung von Schlussfolgerungsmodellen.
English
LLMs often exhibit Aha moments during reasoning, such as apparent self-correction following tokens like "Wait," yet their underlying mechanisms remain unclear. We introduce an information-theoretic framework that decomposes reasoning into procedural information and epistemic verbalization - the explicit externalization of uncertainty that supports downstream control actions. We show that purely procedural reasoning can become informationally stagnant, whereas epistemic verbalization enables continued information acquisition and is critical for achieving information sufficiency. Empirical results demonstrate that strong reasoning performance is driven by uncertainty externalization rather than specific surface tokens. Our framework unifies prior findings on Aha moments and post-training experiments, and offers insights for future reasoning model design.