AdaptThink: Modelos de Raciocínio Podem Aprender Quando Pensar
AdaptThink: Reasoning Models Can Learn When to Think
May 19, 2025
Autores: Jiajie Zhang, Nianyi Lin, Lei Hou, Ling Feng, Juanzi Li
cs.AI
Resumo
Recentemente, grandes modelos de raciocínio alcançaram desempenhos impressionantes em diversas tarefas ao empregar um pensamento profundo semelhante ao humano. No entanto, o processo de pensamento prolongado aumenta substancialmente a sobrecarga de inferência, tornando a eficiência um gargalo crítico. Neste trabalho, primeiro demonstramos que o NoThinking, que solicita ao modelo de raciocínio que pule o pensamento e gere diretamente a solução final, é uma escolha melhor para tarefas relativamente simples em termos de desempenho e eficiência. Motivados por isso, propomos o AdaptThink, um novo algoritmo de RL para ensinar modelos de raciocínio a escolher o modo de pensamento ideal de forma adaptativa com base na dificuldade do problema. Especificamente, o AdaptThink apresenta dois componentes principais: (1) um objetivo de otimização restrito que incentiva o modelo a escolher o NoThinking enquanto mantém o desempenho geral; (2) uma estratégia de amostragem por importância que equilibra as amostras de Thinking e NoThinking durante o treinamento on-policy, permitindo assim um início a frio e possibilitando que o modelo explore e aproveite ambos os modos de pensamento ao longo do processo de treinamento. Nossos experimentos indicam que o AdaptThink reduz significativamente os custos de inferência enquanto melhora ainda mais o desempenho. Notavelmente, em três conjuntos de dados matemáticos, o AdaptThink reduz o comprimento médio das respostas do DeepSeek-R1-Distill-Qwen-1.5B em 53% e melhora sua precisão em 2,4%, destacando o potencial da seleção adaptativa do modo de pensamento para otimizar o equilíbrio entre qualidade de raciocínio e eficiência. Nossos códigos e modelos estão disponíveis em https://github.com/THU-KEG/AdaptThink.
English
Recently, large reasoning models have achieved impressive performance on
various tasks by employing human-like deep thinking. However, the lengthy
thinking process substantially increases inference overhead, making efficiency
a critical bottleneck. In this work, we first demonstrate that NoThinking,
which prompts the reasoning model to skip thinking and directly generate the
final solution, is a better choice for relatively simple tasks in terms of both
performance and efficiency. Motivated by this, we propose AdaptThink, a novel
RL algorithm to teach reasoning models to choose the optimal thinking mode
adaptively based on problem difficulty. Specifically, AdaptThink features two
core components: (1) a constrained optimization objective that encourages the
model to choose NoThinking while maintaining the overall performance; (2) an
importance sampling strategy that balances Thinking and NoThinking samples
during on-policy training, thereby enabling cold start and allowing the model
to explore and exploit both thinking modes throughout the training process. Our
experiments indicate that AdaptThink significantly reduces the inference costs
while further enhancing performance. Notably, on three math datasets,
AdaptThink reduces the average response length of DeepSeek-R1-Distill-Qwen-1.5B
by 53% and improves its accuracy by 2.4%, highlighting the promise of adaptive
thinking-mode selection for optimizing the balance between reasoning quality
and efficiency. Our codes and models are available at
https://github.com/THU-KEG/AdaptThink.