Redeneren als Compressie: Unificatie van Budget Forcing via het Conditionele Informatie Bottleneck

Reasoning as Compression: Unifying Budget Forcing via the Conditional Information Bottleneck

March 9, 2026

Auteurs: Fabio Valerio Massoli, Andrey Kuzmin, Arash Behboodi

cs.AI

Samenvatting

Chain-of-Thought (CoT) prompting verbetert de nauwkeurigheid van grote taalmodel(len) bij complexe taken, maar leidt vaak tot een hoger tokenverbruik en inferentiekosten. Bestaande "Budget Forcing"-methoden, die de kosten verlagen via fine-tuning met heuristische lengtestraffen, onderdrukken zowel essentiële redenering als overbodige opvulling. Wij herformuleren efficiënte redenering als een verliesachtig compressieprobleem volgens het Information Bottleneck (IB)-principe en identificeren een belangrijk theoretisch hiaat bij de toepassing van een naïeve IB op transformers: aandacht schendt de Markov-eigenschap tussen prompt, redeneerspoor en respons. Om dit probleem op te lossen, modelleren we CoT-generatie volgens het Conditional Information Bottleneck (CIB)-principe, waarbij het redeneerspoor Z fungeert als een computationele brug die alleen de informatie over de respons Y bevat die niet direct toegankelijk is vanuit de prompt X. Dit leidt tot een algemeen Reinforcement Learning-doel: maximaliseer de taakbeloning terwijl de voltooiingen worden gecomprimeerd onder een prior over redeneersporen, waarbij veelvoorkomende heuristieken (bijv. lengtestraffen) als speciale gevallen (bijv. uniforme priors) worden ondergebracht. In tegenstelling tot naïeve op tokenaantallen gebaseerde benaderingen, introduceren we een semantische prior die de tokenkosten meet aan de hand van surprisal onder een taalmodelprior. Empirisch gezien snoeit ons CIB-doel cognitieve overdaad weg terwijl vlotheid en logica behouden blijven, wat de nauwkeurigheid verbetert bij matige compressie en agressieve compressie mogelijk maakt met een minimale daling in nauwkeurigheid.

English

Chain-of-Thought (CoT) prompting improves LLM accuracy on complex tasks but often increases token usage and inference cost. Existing "Budget Forcing" methods reducing cost via fine-tuning with heuristic length penalties, suppress both essential reasoning and redundant filler. We recast efficient reasoning as a lossy compression problem under the Information Bottleneck (IB) principle, and identify a key theoretical gap when applying naive IB to transformers: attention violates the Markov property between prompt, reasoning trace, and response. To resolve this issue, we model CoT generation under the Conditional Information Bottleneck (CIB) principle, where the reasoning trace Z acts as a computational bridge that contains only the information about the response Y that is not directly accessible from the prompt X. This yields a general Reinforcement Learning objective: maximize task reward while compressing completions under a prior over reasoning traces, subsuming common heuristics (e.g., length penalties) as special cases (e.g., uniform priors). In contrast to naive token-counting-based approaches, we introduce a semantic prior that measures token cost by surprisal under a language model prior. Empirically, our CIB objective prunes cognitive bloat while preserving fluency and logic, improving accuracy at moderate compression and enabling aggressive compression with minimal accuracy drop.