Revisitando a Hipótese da Densidade Uniforme de Informação no Raciocínio de LLMs Rastros

Revisiting the Uniform Information Density Hypothesis in LLM Reasoning Traces

October 8, 2025

Autores: Minju Gwak, Guijin Son, Jaehyung Kim

cs.AI

Resumo

A hipótese da Densidade Uniforme de Informação (UID, na sigla em inglês) sugere que a comunicação eficaz mantém um fluxo estável de informações. Neste trabalho, revisitamos esse princípio no contexto de traços de raciocínio de modelos de linguagem de grande escala (LLMs), questionando se a uniformidade em nível de etapa reflete a qualidade do raciocínio. Para isso, propomos uma métrica de densidade de informação por etapa baseada em entropia e introduzimos duas medidas complementares de uniformidade: escores de uniformidade local e global. Nos experimentos realizados em seis benchmarks diferentes de raciocínio, descobrimos que a uniformidade em nível de etapa não apenas oferece uma forte lente teórica, mas também traz benefícios práticos de desempenho; por exemplo, selecionar traços de raciocínio com densidade de informação mais uniforme em nível de etapa melhora a precisão com ganhos relativos de 10-32\% em relação às linhas de base no AIME2025. Nossa análise revela ainda que traços de raciocínio corretos tendem a evitar picos abruptos de densidade de informação, enquanto traços incorretos exibem explosões irregulares de informação. Esses resultados demonstram que as medidas de densidade de informação inspiradas na UID superam sinais internos alternativos como preditores da qualidade do raciocínio. Os resultados destacam a uniformidade da densidade de informação como um critério robusto de diagnóstico e seleção para a construção de sistemas de raciocínio mais confiáveis e precisos.

English

The Uniform Information Density (UID) hypothesis suggests that effective communication maintains a stable flow of information. In this work, we revisit this principle in the context of large language model (LLM) reasoning traces, asking whether step-level uniformity reflects reasoning quality. To this end, we propose an entropy-based stepwise information density metric and introduce two complementary measures of uniformity, local and global uniformity scores. Across the experiments on six different reasoning benchmarks, we find that step-level uniformity not only provides a strong theoretical lens but also yields practical performance benefits; for example, selecting reasoning traces with more uniform information density at the step-level improves accuracy by 10-32\% relative gains over baselines at AIME2025. Our analysis further reveals that correct reasoning traces tend to avoid sharp information density spikes, while incorrect traces exhibit irregular information bursts. These results demonstrate that UID-inspired information density measures outperform alternative internal signals as predictors of reasoning quality. Results highlight the uniformity of the information density as a robust diagnostic and selection criterion for building more reliable and accurate reasoning systems.