AdaCtrl: Hacia un razonamiento adaptable y controlable mediante la gestión presupuestaria consciente de la dificultad
AdaCtrl: Towards Adaptive and Controllable Reasoning via Difficulty-Aware Budgeting
May 24, 2025
Autores: Shijue Huang, Hongru Wang, Wanjun Zhong, Zhaochen Su, Jiazhan Feng, Bowen Cao, Yi R. Fung
cs.AI
Resumen
Los modelos modernos de razonamiento a gran escala demuestran capacidades impresionantes para resolver problemas al emplear estrategias de razonamiento sofisticadas. Sin embargo, a menudo luchan por equilibrar la eficiencia y la efectividad, generando con frecuencia cadenas de razonamiento innecesariamente largas para problemas simples. En este trabajo, proponemos AdaCtrl, un marco novedoso que permite tanto la asignación adaptativa del presupuesto de razonamiento basada en la dificultad como el control explícito del usuario sobre la profundidad del razonamiento. AdaCtrl ajusta dinámicamente la longitud de su razonamiento según la dificultad autoevaluada del problema, al mismo tiempo que permite a los usuarios controlar manualmente el presupuesto para priorizar la eficiencia o la efectividad. Esto se logra mediante una canalización de entrenamiento en dos etapas: una fase inicial de ajuste fino en frío para inculcar la capacidad de autoevaluar la dificultad y ajustar el presupuesto de razonamiento, seguida de una etapa de aprendizaje por refuerzo (RL) consciente de la dificultad que refina las estrategias de razonamiento adaptativo del modelo y calibra sus evaluaciones de dificultad según sus capacidades en evolución durante el entrenamiento en línea. Para permitir una interacción intuitiva con el usuario, diseñamos etiquetas explícitas activadas por longitud que funcionan como una interfaz natural para el control del presupuesto. Los resultados empíricos muestran que AdaCtrl adapta la longitud del razonamiento según la dificultad estimada; en comparación con la línea base de entrenamiento estándar que también incorpora ajuste fino y RL, obtiene mejoras en el rendimiento y, simultáneamente, reduce la longitud de las respuestas en un 10.06% y 12.14% en los conjuntos de datos más desafiantes AIME2024 y AIME2025, que requieren un razonamiento elaborado, y en un 62.05% y 91.04% en los conjuntos de datos MATH500 y GSM8K, donde respuestas más concisas son suficientes. Además, AdaCtrl permite un control preciso del usuario sobre el presupuesto de razonamiento, lo que posibilita respuestas personalizadas para satisfacer necesidades específicas.
English
Modern large reasoning models demonstrate impressive problem-solving
capabilities by employing sophisticated reasoning strategies. However, they
often struggle to balance efficiency and effectiveness, frequently generating
unnecessarily lengthy reasoning chains for simple problems. In this work, we
propose AdaCtrl, a novel framework to support both difficulty-aware adaptive
reasoning budget allocation and explicit user control over reasoning depth.
AdaCtrl dynamically adjusts its reasoning length based on self-assessed problem
difficulty, while also allowing users to manually control the budget to
prioritize either efficiency or effectiveness. This is achieved through a
two-stage training pipeline: an initial cold-start fine-tuning phase to instill
the ability to self-aware difficulty and adjust reasoning budget, followed by a
difficulty-aware reinforcement learning (RL) stage that refines the model's
adaptive reasoning strategies and calibrates its difficulty assessments based
on its evolving capabilities during online training. To enable intuitive user
interaction, we design explicit length-triggered tags that function as a
natural interface for budget control. Empirical results show that AdaCtrl
adapts reasoning length based on estimated difficulty, compared to the standard
training baseline that also incorporates fine-tuning and RL, it yields
performance improvements and simultaneously reduces response length by 10.06%
and 12.14% on the more challenging AIME2024 and AIME2025 datasets, which
require elaborate reasoning, and by 62.05% and 91.04% on the MATH500 and GSM8K
datasets, where more concise responses are sufficient. Furthermore, AdaCtrl
enables precise user control over the reasoning budget, allowing for tailored
responses to meet specific needs.Summary
AI-Generated Summary