Рассуждение как сжатие: унификация бюджетного форсинга через условный информационный бутылочное горлышко

Reasoning as Compression: Unifying Budget Forcing via the Conditional Information Bottleneck

March 9, 2026

Авторы: Fabio Valerio Massoli, Andrey Kuzmin, Arash Behboodi

cs.AI

Аннотация

Метод Chain-of-Thought (CoT) повышает точность больших языковых моделей (LLM) на сложных задачах, но часто увеличивает использование токенов и стоимость вывода. Существующие методы «бюджетного принуждения» (Budget Forcing), снижающие затраты путем дообучения с эвристическими штрафами за длину, подавляют как важные рассуждения, так и избыточные элементы. Мы переосмысливаем эффективное рассуждение как задачу сжатия с потерями в рамках принципа Информационного Бутылочного Горлышка (IB) и выявляем ключевой теоретический пробел при применении наивного IB к трансформерам: механизм внимания нарушает марковское свойство между промптом, трассой рассуждений и ответом. Чтобы решить эту проблему, мы моделируем генерацию CoT в рамках принципа Условного Информационного Бутылочного Горлышка (CIB), где трасса рассуждений Z выступает в качестве вычислительного моста, содержащего только ту информацию об ответе Y, которая не доступна напрямую из промпта X. Это приводит к общей задаче Обучения с Подкреплением: максимизировать награду за решение задачи, одновременно сжимая завершения при наличии априорного распределения над трассами рассуждений, что включает распространенные эвристики (например, штрафы за длину) как частные случаи (например, равномерные априорные распределения). В отличие от наивных подходов, основанных на подсчете токенов, мы вводим семантическое априорное распределение, которое измеряет стоимость токена через surprisal (неожиданность) относительно априорной языковой модели. Экспериментально наша цель CIB устраняет когнитивную избыточность, сохраняя беглость и логичность, повышая точность при умеренном сжатии и позволяя агрессивное сжатие с минимальным падением точности.

English

Chain-of-Thought (CoT) prompting improves LLM accuracy on complex tasks but often increases token usage and inference cost. Existing "Budget Forcing" methods reducing cost via fine-tuning with heuristic length penalties, suppress both essential reasoning and redundant filler. We recast efficient reasoning as a lossy compression problem under the Information Bottleneck (IB) principle, and identify a key theoretical gap when applying naive IB to transformers: attention violates the Markov property between prompt, reasoning trace, and response. To resolve this issue, we model CoT generation under the Conditional Information Bottleneck (CIB) principle, where the reasoning trace Z acts as a computational bridge that contains only the information about the response Y that is not directly accessible from the prompt X. This yields a general Reinforcement Learning objective: maximize task reward while compressing completions under a prior over reasoning traces, subsuming common heuristics (e.g., length penalties) as special cases (e.g., uniform priors). In contrast to naive token-counting-based approaches, we introduce a semantic prior that measures token cost by surprisal under a language model prior. Empirically, our CIB objective prunes cognitive bloat while preserving fluency and logic, improving accuracy at moderate compression and enabling aggressive compression with minimal accuracy drop.