AdaCtrl: Hacia un razonamiento adaptable y controlable mediante la gestión presupuestaria consciente de la dificultad

AdaCtrl: Towards Adaptive and Controllable Reasoning via Difficulty-Aware Budgeting

May 24, 2025

Autores: Shijue Huang, Hongru Wang, Wanjun Zhong, Zhaochen Su, Jiazhan Feng, Bowen Cao, Yi R. Fung

cs.AI

Resumen

Los modelos modernos de razonamiento a gran escala demuestran capacidades impresionantes para resolver problemas al emplear estrategias de razonamiento sofisticadas. Sin embargo, a menudo luchan por equilibrar la eficiencia y la efectividad, generando con frecuencia cadenas de razonamiento innecesariamente largas para problemas simples. En este trabajo, proponemos AdaCtrl, un marco novedoso que permite tanto la asignación adaptativa del presupuesto de razonamiento basada en la dificultad como el control explícito del usuario sobre la profundidad del razonamiento. AdaCtrl ajusta dinámicamente la longitud de su razonamiento según la dificultad autoevaluada del problema, al mismo tiempo que permite a los usuarios controlar manualmente el presupuesto para priorizar la eficiencia o la efectividad. Esto se logra mediante una canalización de entrenamiento en dos etapas: una fase inicial de ajuste fino en frío para inculcar la capacidad de autoevaluar la dificultad y ajustar el presupuesto de razonamiento, seguida de una etapa de aprendizaje por refuerzo (RL) consciente de la dificultad que refina las estrategias de razonamiento adaptativo del modelo y calibra sus evaluaciones de dificultad según sus capacidades en evolución durante el entrenamiento en línea. Para permitir una interacción intuitiva con el usuario, diseñamos etiquetas explícitas activadas por longitud que funcionan como una interfaz natural para el control del presupuesto. Los resultados empíricos muestran que AdaCtrl adapta la longitud del razonamiento según la dificultad estimada; en comparación con la línea base de entrenamiento estándar que también incorpora ajuste fino y RL, obtiene mejoras en el rendimiento y, simultáneamente, reduce la longitud de las respuestas en un 10.06% y 12.14% en los conjuntos de datos más desafiantes AIME2024 y AIME2025, que requieren un razonamiento elaborado, y en un 62.05% y 91.04% en los conjuntos de datos MATH500 y GSM8K, donde respuestas más concisas son suficientes. Además, AdaCtrl permite un control preciso del usuario sobre el presupuesto de razonamiento, lo que posibilita respuestas personalizadas para satisfacer necesidades específicas.

English

Modern large reasoning models demonstrate impressive problem-solving capabilities by employing sophisticated reasoning strategies. However, they often struggle to balance efficiency and effectiveness, frequently generating unnecessarily lengthy reasoning chains for simple problems. In this work, we propose AdaCtrl, a novel framework to support both difficulty-aware adaptive reasoning budget allocation and explicit user control over reasoning depth. AdaCtrl dynamically adjusts its reasoning length based on self-assessed problem difficulty, while also allowing users to manually control the budget to prioritize either efficiency or effectiveness. This is achieved through a two-stage training pipeline: an initial cold-start fine-tuning phase to instill the ability to self-aware difficulty and adjust reasoning budget, followed by a difficulty-aware reinforcement learning (RL) stage that refines the model's adaptive reasoning strategies and calibrates its difficulty assessments based on its evolving capabilities during online training. To enable intuitive user interaction, we design explicit length-triggered tags that function as a natural interface for budget control. Empirical results show that AdaCtrl adapts reasoning length based on estimated difficulty, compared to the standard training baseline that also incorporates fine-tuning and RL, it yields performance improvements and simultaneously reduces response length by 10.06% and 12.14% on the more challenging AIME2024 and AIME2025 datasets, which require elaborate reasoning, and by 62.05% and 91.04% on the MATH500 and GSM8K datasets, where more concise responses are sufficient. Furthermore, AdaCtrl enables precise user control over the reasoning budget, allowing for tailored responses to meet specific needs.