Revisitando la Hipótesis de Densidad Uniforme de Información en el Razonamiento de Modelos de Lenguaje de Gran Escala Huellas

Revisiting the Uniform Information Density Hypothesis in LLM Reasoning Traces

October 8, 2025

Autores: Minju Gwak, Guijin Son, Jaehyung Kim

cs.AI

Resumen

La hipótesis de la Densidad Uniforme de Información (UID, por sus siglas en inglés) sugiere que la comunicación efectiva mantiene un flujo estable de información. En este trabajo, revisitamos este principio en el contexto de las trazas de razonamiento de modelos de lenguaje de gran escala (LLM), preguntándonos si la uniformidad a nivel de pasos refleja la calidad del razonamiento. Para ello, proponemos una métrica de densidad de información paso a paso basada en la entropía e introducimos dos medidas complementarias de uniformidad: puntuaciones de uniformidad local y global. A través de experimentos en seis benchmarks de razonamiento diferentes, encontramos que la uniformidad a nivel de pasos no solo proporciona una lente teórica sólida, sino que también ofrece beneficios prácticos en el rendimiento; por ejemplo, seleccionar trazas de razonamiento con una densidad de información más uniforme a nivel de pasos mejora la precisión con ganancias relativas del 10-32\% respecto a las líneas base en AIME2025. Nuestro análisis revela además que las trazas de razonamiento correctas tienden a evitar picos abruptos en la densidad de información, mientras que las incorrectas muestran ráfagas irregulares de información. Estos resultados demuestran que las medidas de densidad de información inspiradas en UID superan a señales internas alternativas como predictores de la calidad del razonamiento. Los resultados destacan la uniformidad de la densidad de información como un criterio robusto de diagnóstico y selección para construir sistemas de razonamiento más confiables y precisos.

English

The Uniform Information Density (UID) hypothesis suggests that effective communication maintains a stable flow of information. In this work, we revisit this principle in the context of large language model (LLM) reasoning traces, asking whether step-level uniformity reflects reasoning quality. To this end, we propose an entropy-based stepwise information density metric and introduce two complementary measures of uniformity, local and global uniformity scores. Across the experiments on six different reasoning benchmarks, we find that step-level uniformity not only provides a strong theoretical lens but also yields practical performance benefits; for example, selecting reasoning traces with more uniform information density at the step-level improves accuracy by 10-32\% relative gains over baselines at AIME2025. Our analysis further reveals that correct reasoning traces tend to avoid sharp information density spikes, while incorrect traces exhibit irregular information bursts. These results demonstrate that UID-inspired information density measures outperform alternative internal signals as predictors of reasoning quality. Results highlight the uniformity of the information density as a robust diagnostic and selection criterion for building more reliable and accurate reasoning systems.