Hiërarchisch Budgetbeleid Optimalisatie voor Adaptief Redeneren

Samenvatting

Grote redeneermodellen behalen opmerkelijke prestaties door uitgebreide keten-van-gedachten-generatie, maar vertonen aanzienlijke computationele inefficiëntie door uniforme redeneerstrategieën toe te passen, ongeacht de complexiteit van het probleem. Wij presenteren Hierarchical Budget Policy Optimization (HBPO), een reinforcement learning-raamwerk dat modellen in staat stelt om probleemspecifieke redeneerdieptes te leren zonder in te leveren op capaciteit. HBPO adresseert de fundamentele uitdaging van het ineenstorten van de verkenruimte in efficiëntiegericht training, waarbij straffen op lange uitvoerlengtes modellen systematisch beïnvloeden om weg te blijven van noodzakelijke lange redeneerpaden. Door hiërarchische budgetverkenning verdeelt onze aanpak rollout-monsters in meerdere subgroepen met verschillende tokenbudgetten, met als doel efficiënte resourceallocatie mogelijk te maken terwijl degradatie van capaciteit wordt voorkomen. We introduceren gedifferentieerde beloningsmechanismen die budgetbewuste prikkels creëren die zijn afgestemd op de complexiteit van het probleem, waardoor modellen natuurlijke overeenkomsten kunnen ontdekken tussen taakeisen en computationale inspanning. Uitgebreide experimenten tonen aan dat HBPO het gemiddelde tokengebruik met tot wel 60,6% reduceert terwijl de nauwkeurigheid met 3,14% verbetert over vier redeneerbenchmarks. In tegenstelling tot bestaande methoden die externe beperkingen opleggen of vertrouwen op discrete modusselectie, vertoont HBPO emergent adaptief gedrag waarbij modellen automatisch de redeneerdiepte aanpassen op basis van probleemcomplexiteit. Onze resultaten suggereren dat redeneerefficiëntie en capaciteit niet intrinsiek conflicteren, en tegelijkertijd geoptimaliseerd kunnen worden door geschikt gestructureerde hiërarchische training die de verkeningsdiversiteit behoudt.

English

Large reasoning models achieve remarkable performance through extensive chain-of-thought generation, yet exhibit significant computational inefficiency by applying uniform reasoning strategies regardless of problem complexity. We present Hierarchical Budget Policy Optimization (HBPO), a reinforcement learning framework that enables models to learn problem-specific reasoning depths without sacrificing capability. HBPO addresses the fundamental challenge of exploration space collapse in efficiency-oriented training, where penalties on long output length systematically bias models away from necessary long reasoning paths. Through hierarchical budget exploration, our approach partitions rollout samples into multiple subgroups with distinct token budgets, aiming to enable efficient resource allocation while preventing degradation of capability. We introduce differentiated reward mechanisms that create budget-aware incentives aligned with the complexity of the problem, allowing models to discover natural correspondences between task requirements and computational effort. Extensive experiments demonstrate that HBPO reduces average token usage by up to 60.6% while improving accuracy by 3.14% across four reasoning benchmarks. Unlike existing methods that impose external constraints or rely on discrete mode selection, HBPO exhibits emergent adaptive behavior where models automatically adjust reasoning depth based on problem complexity. Our results suggest that reasoning efficiency and capability are not inherently conflicting, and can be simultaneously optimized through appropriately structured hierarchical training that preserves exploration diversity.

Hiërarchisch Budgetbeleid Optimalisatie voor Adaptief Redeneren

Hierarchical Budget Policy Optimization for Adaptive Reasoning

Samenvatting

Support