Riesaminando l'Ipotesi della Densità Uniforme dell'Informazione nel Ragionamento dei Modelli Linguistici di Grande Dimensione Tracce
Revisiting the Uniform Information Density Hypothesis in LLM Reasoning Traces
October 8, 2025
Autori: Minju Gwak, Guijin Son, Jaehyung Kim
cs.AI
Abstract
L'ipotesi della Densità Uniforme dell'Informazione (UID) suggerisce che una comunicazione efficace mantenga un flusso stabile di informazioni. In questo lavoro, riprendiamo questo principio nel contesto delle tracce di ragionamento dei modelli linguistici di grandi dimensioni (LLM), chiedendoci se l'uniformità a livello di passaggio rifletta la qualità del ragionamento. A tal fine, proponiamo una metrica della densità dell'informazione basata sull'entropia e introduciamo due misure complementari di uniformità, i punteggi di uniformità locale e globale. Attraverso esperimenti su sei diversi benchmark di ragionamento, scopriamo che l'uniformità a livello di passaggio non solo fornisce una forte lente teorica, ma offre anche vantaggi pratici in termini di prestazioni; ad esempio, selezionare tracce di ragionamento con una densità dell'informazione più uniforme a livello di passaggio migliora l'accuratezza con guadagni relativi del 10-32% rispetto ai baselines su AIME2025. La nostra analisi rivela inoltre che le tracce di ragionamento corrette tendono a evitare picchi bruschi nella densità dell'informazione, mentre le tracce errate mostrano irregolari esplosioni di informazioni. Questi risultati dimostrano che le misure della densità dell'informazione ispirate all'UID superano segnali interni alternativi come predittori della qualità del ragionamento. I risultati evidenziano l'uniformità della densità dell'informazione come un criterio diagnostico e di selezione robusto per costruire sistemi di ragionamento più affidabili e accurati.
English
The Uniform Information Density (UID) hypothesis suggests that effective
communication maintains a stable flow of information. In this work, we revisit
this principle in the context of large language model (LLM) reasoning traces,
asking whether step-level uniformity reflects reasoning quality. To this end,
we propose an entropy-based stepwise information density metric and introduce
two complementary measures of uniformity, local and global uniformity scores.
Across the experiments on six different reasoning benchmarks, we find that
step-level uniformity not only provides a strong theoretical lens but also
yields practical performance benefits; for example, selecting reasoning traces
with more uniform information density at the step-level improves accuracy by
10-32\% relative gains over baselines at AIME2025. Our analysis further reveals
that correct reasoning traces tend to avoid sharp information density spikes,
while incorrect traces exhibit irregular information bursts. These results
demonstrate that UID-inspired information density measures outperform
alternative internal signals as predictors of reasoning quality. Results
highlight the uniformity of the information density as a robust diagnostic and
selection criterion for building more reliable and accurate reasoning systems.