Optimisation hiérarchique des politiques budgétaires pour un raisonnement adaptatif

papers.abstract

Les grands modèles de raisonnement atteignent des performances remarquables grâce à une génération extensive de chaînes de pensée, mais présentent une inefficacité computationnelle significative en appliquant des stratégies de raisonnement uniformes indépendamment de la complexité des problèmes. Nous présentons l'Optimisation Hiérarchique des Politiques de Budget (HBPO), un cadre d'apprentissage par renforcement qui permet aux modèles d'apprendre des profondeurs de raisonnement spécifiques aux problèmes sans sacrifier leurs capacités. HBPO aborde le défi fondamental de l'effondrement de l'espace d'exploration dans l'entraînement axé sur l'efficacité, où les pénalités sur la longueur des sorties biaisent systématiquement les modèles contre les chemins de raisonnement longs nécessaires. Grâce à une exploration hiérarchique du budget, notre approche partitionne les échantillons de déploiement en plusieurs sous-groupes avec des budgets de jetons distincts, visant à permettre une allocation efficace des ressources tout en empêchant la dégradation des capacités. Nous introduisons des mécanismes de récompense différenciés qui créent des incitations conscientes du budget alignées sur la complexité du problème, permettant aux modèles de découvrir des correspondances naturelles entre les exigences de la tâche et l'effort computationnel. Des expériences approfondies démontrent que HBPO réduit l'utilisation moyenne de jetons jusqu'à 60,6 % tout en améliorant la précision de 3,14 % sur quatre benchmarks de raisonnement. Contrairement aux méthodes existantes qui imposent des contraintes externes ou reposent sur une sélection de mode discrète, HBPO présente un comportement adaptatif émergent où les modèles ajustent automatiquement la profondeur de raisonnement en fonction de la complexité du problème. Nos résultats suggèrent que l'efficacité du raisonnement et les capacités ne sont pas intrinsèquement conflictuelles, et peuvent être optimisées simultanément grâce à un entraînement hiérarchique structuré de manière appropriée qui préserve la diversité d'exploration.

English

Large reasoning models achieve remarkable performance through extensive chain-of-thought generation, yet exhibit significant computational inefficiency by applying uniform reasoning strategies regardless of problem complexity. We present Hierarchical Budget Policy Optimization (HBPO), a reinforcement learning framework that enables models to learn problem-specific reasoning depths without sacrificing capability. HBPO addresses the fundamental challenge of exploration space collapse in efficiency-oriented training, where penalties on long output length systematically bias models away from necessary long reasoning paths. Through hierarchical budget exploration, our approach partitions rollout samples into multiple subgroups with distinct token budgets, aiming to enable efficient resource allocation while preventing degradation of capability. We introduce differentiated reward mechanisms that create budget-aware incentives aligned with the complexity of the problem, allowing models to discover natural correspondences between task requirements and computational effort. Extensive experiments demonstrate that HBPO reduces average token usage by up to 60.6% while improving accuracy by 3.14% across four reasoning benchmarks. Unlike existing methods that impose external constraints or rely on discrete mode selection, HBPO exhibits emergent adaptive behavior where models automatically adjust reasoning depth based on problem complexity. Our results suggest that reasoning efficiency and capability are not inherently conflicting, and can be simultaneously optimized through appropriately structured hierarchical training that preserves exploration diversity.

Optimisation hiérarchique des politiques budgétaires pour un raisonnement adaptatif

Hierarchical Budget Policy Optimization for Adaptive Reasoning

papers.abstract

Support