Ottimizzazione Gerarchica delle Politiche di Budget per il Ragionamento Adattivo

Abstract

I modelli di ragionamento su larga scala raggiungono prestazioni notevoli attraverso un'ampia generazione di catene di pensiero, ma mostrano una significativa inefficienza computazionale applicando strategie di ragionamento uniformi indipendentemente dalla complessità del problema. Presentiamo l'Optimizzazione Gerarchica delle Politiche di Budget (HBPO), un framework di apprendimento per rinforzo che consente ai modelli di apprendere profondità di ragionamento specifiche per problema senza sacrificare le capacità. HBPO affronta la sfida fondamentale del collasso dello spazio di esplorazione nell'addestramento orientato all'efficienza, dove le penalità sulla lunghezza dell'output deviano sistematicamente i modelli dai percorsi di ragionamento lunghi necessari. Attraverso l'esplorazione gerarchica del budget, il nostro approccio suddivide i campioni di rollout in più sottogruppi con budget di token distinti, mirando a consentire un'allocazione efficiente delle risorse prevenendo al contempo il degrado delle capacità. Introduciamo meccanismi di ricompensa differenziati che creano incentivi consapevoli del budget allineati con la complessità del problema, permettendo ai modelli di scoprire corrispondenze naturali tra i requisiti del compito e lo sforzo computazionale. Esperimenti estensivi dimostrano che HBPO riduce l'uso medio di token fino al 60,6% migliorando l'accuratezza del 3,14% su quattro benchmark di ragionamento. A differenza dei metodi esistenti che impongono vincoli esterni o si basano sulla selezione discreta delle modalità, HBPO mostra un comportamento adattivo emergente in cui i modelli regolano automaticamente la profondità di ragionamento in base alla complessità del problema. I nostri risultati suggeriscono che l'efficienza e le capacità di ragionamento non sono intrinsecamente in conflitto e possono essere ottimizzate simultaneamente attraverso un addestramento gerarchico strutturato in modo appropriato che preserva la diversità dell'esplorazione.

English

Large reasoning models achieve remarkable performance through extensive chain-of-thought generation, yet exhibit significant computational inefficiency by applying uniform reasoning strategies regardless of problem complexity. We present Hierarchical Budget Policy Optimization (HBPO), a reinforcement learning framework that enables models to learn problem-specific reasoning depths without sacrificing capability. HBPO addresses the fundamental challenge of exploration space collapse in efficiency-oriented training, where penalties on long output length systematically bias models away from necessary long reasoning paths. Through hierarchical budget exploration, our approach partitions rollout samples into multiple subgroups with distinct token budgets, aiming to enable efficient resource allocation while preventing degradation of capability. We introduce differentiated reward mechanisms that create budget-aware incentives aligned with the complexity of the problem, allowing models to discover natural correspondences between task requirements and computational effort. Extensive experiments demonstrate that HBPO reduces average token usage by up to 60.6% while improving accuracy by 3.14% across four reasoning benchmarks. Unlike existing methods that impose external constraints or rely on discrete mode selection, HBPO exhibits emergent adaptive behavior where models automatically adjust reasoning depth based on problem complexity. Our results suggest that reasoning efficiency and capability are not inherently conflicting, and can be simultaneously optimized through appropriately structured hierarchical training that preserves exploration diversity.

Ottimizzazione Gerarchica delle Politiche di Budget per il Ragionamento Adattivo

Hierarchical Budget Policy Optimization for Adaptive Reasoning

Abstract

Support