Optimización de Políticas de Presupuesto Jerárquico para el Razonamiento Adaptativo

Resumen

Los modelos de razonamiento a gran escala logran un rendimiento notable mediante la generación extensa de cadenas de pensamiento, pero exhiben una ineficiencia computacional significativa al aplicar estrategias de razonamiento uniformes independientemente de la complejidad del problema. Presentamos la Optimización de Políticas con Presupuesto Jerárquico (HBPO, por sus siglas en inglés), un marco de aprendizaje por refuerzo que permite a los modelos aprender profundidades de razonamiento específicas para cada problema sin sacrificar su capacidad. HBPO aborda el desafío fundamental del colapso del espacio de exploración en el entrenamiento orientado a la eficiencia, donde las penalizaciones por longitudes de salida largas sesgan sistemáticamente a los modelos alejándolos de las trayectorias de razonamiento largas necesarias. A través de la exploración jerárquica de presupuestos, nuestro enfoque divide las muestras de ejecución en múltiples subgrupos con distintos presupuestos de tokens, con el objetivo de permitir una asignación eficiente de recursos mientras se previene la degradación de la capacidad. Introducimos mecanismos de recompensa diferenciados que crean incentivos conscientes del presupuesto alineados con la complejidad del problema, permitiendo que los modelos descubran correspondencias naturales entre los requisitos de la tarea y el esfuerzo computacional. Experimentos exhaustivos demuestran que HBPO reduce el uso promedio de tokens hasta en un 60,6% mientras mejora la precisión en un 3,14% en cuatro benchmarks de razonamiento. A diferencia de los métodos existentes que imponen restricciones externas o dependen de la selección de modos discretos, HBPO exhibe un comportamiento adaptativo emergente donde los modelos ajustan automáticamente la profundidad de razonamiento según la complejidad del problema. Nuestros resultados sugieren que la eficiencia del razonamiento y la capacidad no son inherentemente conflictivas, y pueden optimizarse simultáneamente mediante un entrenamiento jerárquico adecuadamente estructurado que preserve la diversidad de exploración.

English

Large reasoning models achieve remarkable performance through extensive chain-of-thought generation, yet exhibit significant computational inefficiency by applying uniform reasoning strategies regardless of problem complexity. We present Hierarchical Budget Policy Optimization (HBPO), a reinforcement learning framework that enables models to learn problem-specific reasoning depths without sacrificing capability. HBPO addresses the fundamental challenge of exploration space collapse in efficiency-oriented training, where penalties on long output length systematically bias models away from necessary long reasoning paths. Through hierarchical budget exploration, our approach partitions rollout samples into multiple subgroups with distinct token budgets, aiming to enable efficient resource allocation while preventing degradation of capability. We introduce differentiated reward mechanisms that create budget-aware incentives aligned with the complexity of the problem, allowing models to discover natural correspondences between task requirements and computational effort. Extensive experiments demonstrate that HBPO reduces average token usage by up to 60.6% while improving accuracy by 3.14% across four reasoning benchmarks. Unlike existing methods that impose external constraints or rely on discrete mode selection, HBPO exhibits emergent adaptive behavior where models automatically adjust reasoning depth based on problem complexity. Our results suggest that reasoning efficiency and capability are not inherently conflicting, and can be simultaneously optimized through appropriately structured hierarchical training that preserves exploration diversity.

Optimización de Políticas de Presupuesto Jerárquico para el Razonamiento Adaptativo

Hierarchical Budget Policy Optimization for Adaptive Reasoning

Resumen

Support