AdaCtrl: Rumo a um Raciocínio Adaptável e Controlável por meio de Orçamento Consciente da Dificuldade

AdaCtrl: Towards Adaptive and Controllable Reasoning via Difficulty-Aware Budgeting

May 24, 2025

Autores: Shijue Huang, Hongru Wang, Wanjun Zhong, Zhaochen Su, Jiazhan Feng, Bowen Cao, Yi R. Fung

cs.AI

Resumo

Modelos modernos de raciocínio em larga escala demonstram capacidades impressionantes de resolução de problemas ao empregar estratégias de raciocínio sofisticadas. No entanto, eles frequentemente lutam para equilibrar eficiência e eficácia, gerando cadeias de raciocínio desnecessariamente longas para problemas simples. Neste trabalho, propomos o AdaCtrl, uma nova estrutura para suportar tanto a alocação adaptativa de orçamento de raciocínio consciente da dificuldade quanto o controle explícito do usuário sobre a profundidade do raciocínio. O AdaCtrl ajusta dinamicamente o comprimento do raciocínio com base na dificuldade autoavaliada do problema, ao mesmo tempo que permite que os usuários controlem manualmente o orçamento para priorizar eficiência ou eficácia. Isso é alcançado por meio de um pipeline de treinamento em duas etapas: uma fase inicial de ajuste fino de partida a frio para incutir a capacidade de autoavaliar a dificuldade e ajustar o orçamento de raciocínio, seguida por uma etapa de aprendizado por reforço (RL) consciente da dificuldade que refina as estratégias de raciocínio adaptativo do modelo e calibra suas avaliações de dificuldade com base em suas capacidades em evolução durante o treinamento online. Para permitir uma interação intuitiva do usuário, projetamos tags explícitas acionadas por comprimento que funcionam como uma interface natural para o controle do orçamento. Resultados empíricos mostram que o AdaCtrl adapta o comprimento do raciocínio com base na dificuldade estimada; em comparação com a linha de base de treinamento padrão que também incorpora ajuste fino e RL, ele produz melhorias de desempenho e simultaneamente reduz o comprimento da resposta em 10,06% e 12,14% nos conjuntos de dados mais desafiadores AIME2024 e AIME2025, que exigem raciocínio elaborado, e em 62,05% e 91,04% nos conjuntos de dados MATH500 e GSM8K, onde respostas mais concisas são suficientes. Além disso, o AdaCtrl permite um controle preciso do usuário sobre o orçamento de raciocínio, possibilitando respostas personalizadas para atender a necessidades específicas.

English

Modern large reasoning models demonstrate impressive problem-solving capabilities by employing sophisticated reasoning strategies. However, they often struggle to balance efficiency and effectiveness, frequently generating unnecessarily lengthy reasoning chains for simple problems. In this work, we propose AdaCtrl, a novel framework to support both difficulty-aware adaptive reasoning budget allocation and explicit user control over reasoning depth. AdaCtrl dynamically adjusts its reasoning length based on self-assessed problem difficulty, while also allowing users to manually control the budget to prioritize either efficiency or effectiveness. This is achieved through a two-stage training pipeline: an initial cold-start fine-tuning phase to instill the ability to self-aware difficulty and adjust reasoning budget, followed by a difficulty-aware reinforcement learning (RL) stage that refines the model's adaptive reasoning strategies and calibrates its difficulty assessments based on its evolving capabilities during online training. To enable intuitive user interaction, we design explicit length-triggered tags that function as a natural interface for budget control. Empirical results show that AdaCtrl adapts reasoning length based on estimated difficulty, compared to the standard training baseline that also incorporates fine-tuning and RL, it yields performance improvements and simultaneously reduces response length by 10.06% and 12.14% on the more challenging AIME2024 and AIME2025 datasets, which require elaborate reasoning, and by 62.05% and 91.04% on the MATH500 and GSM8K datasets, where more concise responses are sufficient. Furthermore, AdaCtrl enables precise user control over the reasoning budget, allowing for tailored responses to meet specific needs.