Управление мышлением языковых моделей с помощью бюджетного руководства

Steering LLM Thinking with Budget Guidance

June 16, 2025

Авторы: Junyan Li, Wenshuo Zhao, Yang Zhang, Chuang Gan

cs.AI

Аннотация

Современные крупные языковые модели с глубоким мышлением часто используют обширные рассуждения для повышения производительности, однако такие длительные рассуждения не всегда желательны, так как они приводят к чрезмерным затратам на вывод с непропорциональным увеличением производительности. Контроль длины рассуждений без ущерба для производительности является важной задачей, но остается сложным, особенно при ограниченных ресурсах на мышление. Мы предлагаем метод бюджетного управления — простой, но эффективный способ направлять процесс рассуждения языковых моделей в рамках заданного бюджета без необходимости тонкой настройки модели. Наш подход включает легковесный предсказатель, который моделирует гамма-распределение оставшейся длины рассуждений в процессе генерации следующего токена. Этот сигнал затем используется для мягкого, на уровне токенов, управления генерацией, обеспечивая соответствие общего процесса рассуждений заданному бюджету мышления. Бюджетное управление позволяет естественным образом контролировать длину рассуждений, а также значительно повышает эффективность использования токенов по сравнению с базовыми методами на сложных математических тестах. Например, оно обеспечивает увеличение точности до 26% на тесте MATH-500 при ограниченных бюджетах по сравнению с базовыми методами, сохраняя при этом конкурентоспособную точность, используя лишь 63% токенов, затрачиваемых моделью с полным мышлением. Бюджетное управление также обобщается на более широкие области задач и демонстрирует возникающие способности, такие как оценка сложности вопросов. Исходный код доступен по адресу: https://github.com/UMass-Embodied-AGI/BudgetGuidance.

English

Recent deep-thinking large language models often reason extensively to improve performance, but such lengthy reasoning is not always desirable, as it incurs excessive inference costs with disproportionate performance gains. Controlling reasoning length without sacrificing performance is therefore important, but remains challenging, especially under tight thinking budgets. We propose budget guidance, a simple yet effective method for steering the reasoning process of LLMs toward a target budget without requiring any LLM fine-tuning. Our approach introduces a lightweight predictor that models a Gamma distribution over the remaining thinking length during next-token generation. This signal is then used to guide generation in a soft, token-level manner, ensuring that the overall reasoning trace adheres to the specified thinking budget. Budget guidance enables natural control of the thinking length, along with significant token efficiency improvements over baseline methods on challenging math benchmarks. For instance, it achieves up to a 26% accuracy gain on the MATH-500 benchmark under tight budgets compared to baseline methods, while maintaining competitive accuracy with only 63% of the thinking tokens used by the full-thinking model. Budget guidance also generalizes to broader task domains and exhibits emergent capabilities, such as estimating question difficulty. The source code is available at: https://github.com/UMass-Embodied-AGI/BudgetGuidance.