Otimização Hierárquica de Política de Orçamento para Raciocínio Adaptativo

Resumo

Modelos de raciocínio de grande escala alcançam desempenho notável através da geração extensa de cadeias de pensamento, mas exibem ineficiência computacional significativa ao aplicar estratégias de raciocínio uniformes, independentemente da complexidade do problema. Apresentamos a Otimização de Política Hierárquica de Orçamento (HBPO), uma estrutura de aprendizado por reforço que permite aos modelos aprender profundidades de raciocínio específicas para cada problema sem sacrificar a capacidade. A HBPO aborda o desafio fundamental do colapso do espaço de exploração em treinamentos orientados para eficiência, onde penalidades em saídas longas tendem a afastar os modelos de caminhos de raciocínio longos necessários. Através da exploração hierárquica de orçamento, nossa abordagem divide amostras de execução em múltiplos subgrupos com orçamentos de tokens distintos, visando permitir alocação eficiente de recursos enquanto previne a degradação da capacidade. Introduzimos mecanismos de recompensa diferenciados que criam incentivos conscientes do orçamento alinhados com a complexidade do problema, permitindo que os modelos descubram correspondências naturais entre requisitos da tarefa e esforço computacional. Experimentos extensivos demonstram que a HBPO reduz o uso médio de tokens em até 60,6% enquanto melhora a precisão em 3,14% em quatro benchmarks de raciocínio. Diferente de métodos existentes que impõem restrições externas ou dependem de seleção discreta de modos, a HBPO exibe comportamento adaptativo emergente, onde os modelos ajustam automaticamente a profundidade de raciocínio com base na complexidade do problema. Nossos resultados sugerem que eficiência de raciocínio e capacidade não são inerentemente conflitantes, e podem ser otimizadas simultaneamente através de treinamento hierárquico adequadamente estruturado que preserva a diversidade de exploração.

English

Large reasoning models achieve remarkable performance through extensive chain-of-thought generation, yet exhibit significant computational inefficiency by applying uniform reasoning strategies regardless of problem complexity. We present Hierarchical Budget Policy Optimization (HBPO), a reinforcement learning framework that enables models to learn problem-specific reasoning depths without sacrificing capability. HBPO addresses the fundamental challenge of exploration space collapse in efficiency-oriented training, where penalties on long output length systematically bias models away from necessary long reasoning paths. Through hierarchical budget exploration, our approach partitions rollout samples into multiple subgroups with distinct token budgets, aiming to enable efficient resource allocation while preventing degradation of capability. We introduce differentiated reward mechanisms that create budget-aware incentives aligned with the complexity of the problem, allowing models to discover natural correspondences between task requirements and computational effort. Extensive experiments demonstrate that HBPO reduces average token usage by up to 60.6% while improving accuracy by 3.14% across four reasoning benchmarks. Unlike existing methods that impose external constraints or rely on discrete mode selection, HBPO exhibits emergent adaptive behavior where models automatically adjust reasoning depth based on problem complexity. Our results suggest that reasoning efficiency and capability are not inherently conflicting, and can be simultaneously optimized through appropriately structured hierarchical training that preserves exploration diversity.

Otimização Hierárquica de Política de Orçamento para Raciocínio Adaptativo

Hierarchical Budget Policy Optimization for Adaptive Reasoning

Resumo

Support