Ragionamento come Compressione: Unificare il Forzamento di Budget tramite il Collo di Bottiglia dell'Informazione Condizionale
Reasoning as Compression: Unifying Budget Forcing via the Conditional Information Bottleneck
March 9, 2026
Autori: Fabio Valerio Massoli, Andrey Kuzmin, Arash Behboodi
cs.AI
Abstract
Il prompting a Catena di Pensiero (CoT) migliora l'accuratezza dei LLM su compiti complessi, ma spesso aumenta l'utilizzo di token e i costi di inferenza. I metodi esistenti di "Budget Forcing", che riducono i costi tramite fine-tuning con penalità euristiche sulla lunghezza, sopprimono sia il ragionamento essenziale che i riempitivi ridondanti. Noi riformuliamo il ragionamento efficiente come un problema di compressione con perdita secondo il principio del Collo di Bottiglia Informativo (IB) e identifichiamo un'importante lacuna teorica nell'applicazione dell'IB ingenuo ai transformer: l'attenzione viola la proprietà di Markov tra prompt, traccia di ragionamento e risposta. Per risolvere questo problema, modelliamo la generazione CoT sotto il principio del Collo di Bottiglia Informativo Condizionato (CIB), dove la traccia di ragionamento Z funge da ponte computazionale che contiene solo le informazioni sulla risposta Y non direttamente accessibili dal prompt X. Ciò produce un obiettivo generale di Apprendimento per Rinforzo: massimizzare la ricompensa del compito comprimendo i completamenti sotto una prior sulle tracce di ragionamento, ricomprendendo le euristiche comuni (ad es., penalità di lunghezza) come casi speciali (ad es., prior uniformi). In contrasto con gli approcci ingenui basati sul conteggio dei token, introduciamo una prior semantica che misura il costo dei token tramite la sorpresa (surprisal) sotto una prior di modello linguistico. Empiricamente, il nostro obiettivo CIB elimina il gonfiore cognitivo preservando fluidità e logica, migliorando l'accuratezza a compressione moderata e permettendo una compressione aggressiva con un calo minimo di accuratezza.
English
Chain-of-Thought (CoT) prompting improves LLM accuracy on complex tasks but often increases token usage and inference cost. Existing "Budget Forcing" methods reducing cost via fine-tuning with heuristic length penalties, suppress both essential reasoning and redundant filler. We recast efficient reasoning as a lossy compression problem under the Information Bottleneck (IB) principle, and identify a key theoretical gap when applying naive IB to transformers: attention violates the Markov property between prompt, reasoning trace, and response. To resolve this issue, we model CoT generation under the Conditional Information Bottleneck (CIB) principle, where the reasoning trace Z acts as a computational bridge that contains only the information about the response Y that is not directly accessible from the prompt X. This yields a general Reinforcement Learning objective: maximize task reward while compressing completions under a prior over reasoning traces, subsuming common heuristics (e.g., length penalties) as special cases (e.g., uniform priors). In contrast to naive token-counting-based approaches, we introduce a semantic prior that measures token cost by surprisal under a language model prior. Empirically, our CIB objective prunes cognitive bloat while preserving fluency and logic, improving accuracy at moderate compression and enabling aggressive compression with minimal accuracy drop.