Понимание механизмов рассуждений в больших языковых моделях через стратегическое распределение информации в условиях неопределенности
Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty
March 16, 2026
Авторы: Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dongsheng Li, Yuqing Yang
cs.AI
Аннотация
Крупные языковые модели часто демонстрируют «моменты озарения» в процессе рассуждений, например, видимое самоисправление после токенов вроде «Подождите», однако их глубинные механизмы остаются неясными. Мы представляем информационно-теоретическую структуру, которая разлагает рассуждение на процедурную информацию и эпистемическую вербализацию — явную экстернализацию неопределённости, поддерживающую последующие управляющие действия. Мы показываем, что чисто процедурное рассуждение может становиться информационно стагнирующим, тогда как эпистемическая вербализация позволяет продолжить приобретение информации и критически важна для достижения информационной достаточности. Эмпирические результаты демонстрируют, что высокая производительность рассуждений обусловлена экстернализацией неопределённости, а не конкретными поверхностными токенами. Наша структура объединяет предыдущие находки о «моментах озарения» и пост-тренировочных экспериментах и предлагает идеи для будущего проектирования моделей рассуждений.
English
LLMs often exhibit Aha moments during reasoning, such as apparent self-correction following tokens like "Wait," yet their underlying mechanisms remain unclear. We introduce an information-theoretic framework that decomposes reasoning into procedural information and epistemic verbalization - the explicit externalization of uncertainty that supports downstream control actions. We show that purely procedural reasoning can become informationally stagnant, whereas epistemic verbalization enables continued information acquisition and is critical for achieving information sufficiency. Empirical results demonstrate that strong reasoning performance is driven by uncertainty externalization rather than specific surface tokens. Our framework unifies prior findings on Aha moments and post-training experiments, and offers insights for future reasoning model design.