AdaptThink : Les modèles de raisonnement peuvent apprendre quand réfléchir

AdaptThink: Reasoning Models Can Learn When to Think

May 19, 2025

Auteurs: Jiajie Zhang, Nianyi Lin, Lei Hou, Ling Feng, Juanzi Li

cs.AI

Résumé

Récemment, les grands modèles de raisonnement ont obtenu des performances impressionnantes sur diverses tâches en employant une réflexion profonde similaire à celle des humains. Cependant, ce processus de pensée prolongé augmente considérablement les coûts d'inférence, faisant de l'efficacité un goulot d'étranglement critique. Dans ce travail, nous démontrons d'abord que le NoThinking, qui incite le modèle de raisonnement à sauter la phase de réflexion et à générer directement la solution finale, est un meilleur choix pour les tâches relativement simples en termes de performance et d'efficacité. Motivés par cela, nous proposons AdaptThink, un nouvel algorithme d'apprentissage par renforcement (RL) pour enseigner aux modèles de raisonnement à choisir de manière adaptative le mode de pensée optimal en fonction de la difficulté du problème. Plus précisément, AdaptThink se distingue par deux composants clés : (1) un objectif d'optimisation contraint qui encourage le modèle à choisir le NoThinking tout en maintenant la performance globale ; (2) une stratégie d'échantillonnage par importance qui équilibre les échantillons de Thinking et de NoThinking pendant l'entraînement on-policy, permettant ainsi un démarrage à froid et autorisant le modèle à explorer et exploiter les deux modes de pensée tout au long du processus d'entraînement. Nos expériences montrent qu'AdaptThink réduit significativement les coûts d'inférence tout en améliorant encore les performances. Notamment, sur trois ensembles de données mathématiques, AdaptThink réduit la longueur moyenne des réponses de DeepSeek-R1-Distill-Qwen-1.5B de 53 % et améliore sa précision de 2,4 %, mettant en évidence le potentiel de la sélection adaptative des modes de pensée pour optimiser l'équilibre entre la qualité du raisonnement et l'efficacité. Nos codes et modèles sont disponibles à l'adresse https://github.com/THU-KEG/AdaptThink.

English

Recently, large reasoning models have achieved impressive performance on various tasks by employing human-like deep thinking. However, the lengthy thinking process substantially increases inference overhead, making efficiency a critical bottleneck. In this work, we first demonstrate that NoThinking, which prompts the reasoning model to skip thinking and directly generate the final solution, is a better choice for relatively simple tasks in terms of both performance and efficiency. Motivated by this, we propose AdaptThink, a novel RL algorithm to teach reasoning models to choose the optimal thinking mode adaptively based on problem difficulty. Specifically, AdaptThink features two core components: (1) a constrained optimization objective that encourages the model to choose NoThinking while maintaining the overall performance; (2) an importance sampling strategy that balances Thinking and NoThinking samples during on-policy training, thereby enabling cold start and allowing the model to explore and exploit both thinking modes throughout the training process. Our experiments indicate that AdaptThink significantly reduces the inference costs while further enhancing performance. Notably, on three math datasets, AdaptThink reduces the average response length of DeepSeek-R1-Distill-Qwen-1.5B by 53% and improves its accuracy by 2.4%, highlighting the promise of adaptive thinking-mode selection for optimizing the balance between reasoning quality and efficiency. Our codes and models are available at https://github.com/THU-KEG/AdaptThink.