Orientation de la pensée des LLM avec un guidage budgétaire

Steering LLM Thinking with Budget Guidance

June 16, 2025

Auteurs: Junyan Li, Wenshuo Zhao, Yang Zhang, Chuang Gan

cs.AI

Résumé

Les modèles de langage récents basés sur une réflexion approfondie raisonnent souvent de manière extensive pour améliorer leurs performances, mais un tel raisonnement prolongé n'est pas toujours souhaitable, car il entraîne des coûts d'inférence excessifs pour des gains de performance disproportionnés. Contrôler la longueur du raisonnement sans sacrifier les performances est donc important, mais reste un défi, en particulier sous des budgets de réflexion serrés. Nous proposons le **guidage budgétaire**, une méthode simple mais efficace pour orienter le processus de raisonnement des modèles de langage vers un budget cible sans nécessiter de réglage fin du modèle. Notre approche introduit un prédicteur léger qui modélise une distribution Gamma sur la longueur de réflexion restante lors de la génération du prochain jeton. Ce signal est ensuite utilisé pour guider la génération de manière douce et au niveau des jetons, garantissant que la trace globale du raisonnement respecte le budget de réflexion spécifié. Le guidage budgétaire permet un contrôle naturel de la longueur de réflexion, ainsi que des améliorations significatives de l'efficacité des jetons par rapport aux méthodes de référence sur des benchmarks mathématiques complexes. Par exemple, il permet un gain de précision allant jusqu'à 26 % sur le benchmark MATH-500 sous des budgets serrés, tout en maintenant une précision compétitive avec seulement 63 % des jetons de réflexion utilisés par le modèle à réflexion complète. Le guidage budgétaire se généralise également à des domaines de tâches plus larges et présente des capacités émergentes, comme l'estimation de la difficulté des questions. Le code source est disponible à l'adresse suivante : https://github.com/UMass-Embodied-AGI/BudgetGuidance.

English

Recent deep-thinking large language models often reason extensively to improve performance, but such lengthy reasoning is not always desirable, as it incurs excessive inference costs with disproportionate performance gains. Controlling reasoning length without sacrificing performance is therefore important, but remains challenging, especially under tight thinking budgets. We propose budget guidance, a simple yet effective method for steering the reasoning process of LLMs toward a target budget without requiring any LLM fine-tuning. Our approach introduces a lightweight predictor that models a Gamma distribution over the remaining thinking length during next-token generation. This signal is then used to guide generation in a soft, token-level manner, ensuring that the overall reasoning trace adheres to the specified thinking budget. Budget guidance enables natural control of the thinking length, along with significant token efficiency improvements over baseline methods on challenging math benchmarks. For instance, it achieves up to a 26% accuracy gain on the MATH-500 benchmark under tight budgets compared to baseline methods, while maintaining competitive accuracy with only 63% of the thinking tokens used by the full-thinking model. Budget guidance also generalizes to broader task domains and exhibits emergent capabilities, such as estimating question difficulty. The source code is available at: https://github.com/UMass-Embodied-AGI/BudgetGuidance.