Иерархическая оптимизация бюджетной политики для адаптивного рассуждения

Аннотация

Крупные модели рассуждений достигают выдающихся результатов благодаря обширной генерации цепочек мыслей, однако демонстрируют значительную вычислительную неэффективность, применяя универсальные стратегии рассуждений независимо от сложности задачи. Мы представляем Иерархическую Оптимизацию Политики с Бюджетом (Hierarchical Budget Policy Optimization, HBPO) — фреймворк обучения с подкреплением, который позволяет моделям изучать глубину рассуждений, специфичную для задачи, без ущерба для их возможностей. HBPO решает фундаментальную проблему коллапса пространства исследований в обучении, ориентированном на эффективность, где штрафы за длинные выходные последовательности систематически смещают модели от необходимых длинных путей рассуждений. Благодаря иерархическому исследованию бюджета наш подход разделяет выборки на несколько подгрупп с различными лимитами токенов, что позволяет эффективно распределять ресурсы, предотвращая при этом снижение возможностей. Мы вводим дифференцированные механизмы вознаграждения, которые создают бюджетно-ориентированные стимулы, согласованные со сложностью задачи, что позволяет моделям обнаруживать естественные соответствия между требованиями задачи и вычислительными усилиями. Многочисленные эксперименты показывают, что HBPO сокращает среднее использование токенов до 60,6%, одновременно повышая точность на 3,14% на четырех бенчмарках рассуждений. В отличие от существующих методов, которые накладывают внешние ограничения или полагаются на дискретный выбор режимов, HBPO демонстрирует возникающее адаптивное поведение, при котором модели автоматически регулируют глубину рассуждений в зависимости от сложности задачи. Наши результаты свидетельствуют о том, что эффективность рассуждений и их возможности не являются изначально конфликтующими и могут быть одновременно оптимизированы с помощью правильно структурированного иерархического обучения, сохраняющего разнообразие исследований.

English

Large reasoning models achieve remarkable performance through extensive chain-of-thought generation, yet exhibit significant computational inefficiency by applying uniform reasoning strategies regardless of problem complexity. We present Hierarchical Budget Policy Optimization (HBPO), a reinforcement learning framework that enables models to learn problem-specific reasoning depths without sacrificing capability. HBPO addresses the fundamental challenge of exploration space collapse in efficiency-oriented training, where penalties on long output length systematically bias models away from necessary long reasoning paths. Through hierarchical budget exploration, our approach partitions rollout samples into multiple subgroups with distinct token budgets, aiming to enable efficient resource allocation while preventing degradation of capability. We introduce differentiated reward mechanisms that create budget-aware incentives aligned with the complexity of the problem, allowing models to discover natural correspondences between task requirements and computational effort. Extensive experiments demonstrate that HBPO reduces average token usage by up to 60.6% while improving accuracy by 3.14% across four reasoning benchmarks. Unlike existing methods that impose external constraints or rely on discrete mode selection, HBPO exhibits emergent adaptive behavior where models automatically adjust reasoning depth based on problem complexity. Our results suggest that reasoning efficiency and capability are not inherently conflicting, and can be simultaneously optimized through appropriately structured hierarchical training that preserves exploration diversity.

Иерархическая оптимизация бюджетной политики для адаптивного рассуждения

Hierarchical Budget Policy Optimization for Adaptive Reasoning

Аннотация

Support