Hierarchische Budget-Politikoptimierung für adaptives Schließen

papers.abstract

Große Reasoning-Modelle erzielen bemerkenswerte Leistungen durch umfangreiche Chain-of-Thought-Generierung, zeigen jedoch erhebliche Rechenineffizienz, indem sie unabhängig von der Problemkomplexität einheitliche Reasoning-Strategien anwenden. Wir stellen Hierarchical Budget Policy Optimization (HBPO) vor, ein Reinforcement-Learning-Framework, das es Modellen ermöglicht, problemspezifische Reasoning-Tiefen zu erlernen, ohne dabei die Fähigkeiten zu beeinträchtigen. HBPO adressiert die grundlegende Herausforderung des Explorationsraumkollapses in effizienzorientiertem Training, bei dem Strafen für lange Ausgabelängen Modelle systematisch von notwendigen langen Reasoning-Pfaden ablenken. Durch hierarchische Budget-Exploration partitioniert unser Ansatz Rollout-Samples in mehrere Untergruppen mit unterschiedlichen Token-Budgets, um eine effiziente Ressourcenallokation zu ermöglichen und gleichzeitig eine Verschlechterung der Fähigkeiten zu verhindern. Wir führen differenzierte Belohnungsmechanismen ein, die budgetbewusste Anreize schaffen, die mit der Komplexität des Problems abgestimmt sind, und es Modellen ermöglichen, natürliche Korrespondenzen zwischen Aufgabenanforderungen und Rechenaufwand zu entdecken. Umfangreiche Experimente zeigen, dass HBPO die durchschnittliche Token-Nutzung um bis zu 60,6 % reduziert und gleichzeitig die Genauigkeit über vier Reasoning-Benchmarks um 3,14 % verbessert. Im Gegensatz zu bestehenden Methoden, die externe Einschränkungen auferlegen oder auf diskrete Modusauswahl angewiesen sind, zeigt HBPO ein emergentes adaptives Verhalten, bei dem Modelle die Reasoning-Tiefe automatisch basierend auf der Problemkomplexität anpassen. Unsere Ergebnisse legen nahe, dass Reasoning-Effizienz und Fähigkeiten nicht inhärent im Konflikt stehen und gleichzeitig durch angemessen strukturiertes hierarchisches Training, das die Explorationsvielfalt erhält, optimiert werden können.

English

Large reasoning models achieve remarkable performance through extensive chain-of-thought generation, yet exhibit significant computational inefficiency by applying uniform reasoning strategies regardless of problem complexity. We present Hierarchical Budget Policy Optimization (HBPO), a reinforcement learning framework that enables models to learn problem-specific reasoning depths without sacrificing capability. HBPO addresses the fundamental challenge of exploration space collapse in efficiency-oriented training, where penalties on long output length systematically bias models away from necessary long reasoning paths. Through hierarchical budget exploration, our approach partitions rollout samples into multiple subgroups with distinct token budgets, aiming to enable efficient resource allocation while preventing degradation of capability. We introduce differentiated reward mechanisms that create budget-aware incentives aligned with the complexity of the problem, allowing models to discover natural correspondences between task requirements and computational effort. Extensive experiments demonstrate that HBPO reduces average token usage by up to 60.6% while improving accuracy by 3.14% across four reasoning benchmarks. Unlike existing methods that impose external constraints or rely on discrete mode selection, HBPO exhibits emergent adaptive behavior where models automatically adjust reasoning depth based on problem complexity. Our results suggest that reasoning efficiency and capability are not inherently conflicting, and can be simultaneously optimized through appropriately structured hierarchical training that preserves exploration diversity.

Hierarchische Budget-Politikoptimierung für adaptives Schließen

Hierarchical Budget Policy Optimization for Adaptive Reasoning

papers.abstract

Support