AdaptThink: 推論モデルは考えるタイミングを学習できる

AdaptThink: Reasoning Models Can Learn When to Think

May 19, 2025

著者: Jiajie Zhang, Nianyi Lin, Lei Hou, Ling Feng, Juanzi Li

cs.AI

要旨

近年、大規模な推論モデルは人間のような深い思考を採用することで、様々なタスクで印象的な性能を達成してきました。しかし、この長い思考プロセスは推論のオーバーヘッドを大幅に増加させ、効率性が重要なボトルネックとなっています。本研究ではまず、比較的単純なタスクにおいて、推論モデルに思考をスキップさせて直接最終的な解答を生成させる「NoThinking」が、性能と効率の両面でより優れた選択肢であることを示します。この知見に基づき、我々はAdaptThinkという新しい強化学習アルゴリズムを提案します。AdaptThinkは、問題の難易度に基づいて最適な思考モードを適応的に選択するよう推論モデルを教えるものです。具体的には、AdaptThinkは以下の2つのコアコンポーネントを特徴とします：(1) 全体の性能を維持しつつ、モデルにNoThinkingを選択させることを促す制約付き最適化目標、(2) オン・ポリシー訓練中にThinkingとNoThinkingのサンプルをバランスよく取り入れる重要度サンプリング戦略。これにより、コールドスタートを可能にし、訓練プロセス全体を通じて両方の思考モードを探索・活用できるようになります。実験結果から、AdaptThinkは推論コストを大幅に削減しつつ、さらなる性能向上をもたらすことが示されました。特に、3つの数学データセットにおいて、AdaptThinkはDeepSeek-R1-Distill-Qwen-1.5Bの平均応答長を53%削減し、精度を2.4%向上させました。これは、推論の質と効率のバランスを最適化するための適応的思考モード選択の可能性を示唆しています。我々のコードとモデルはhttps://github.com/THU-KEG/AdaptThinkで公開されています。

English

Recently, large reasoning models have achieved impressive performance on various tasks by employing human-like deep thinking. However, the lengthy thinking process substantially increases inference overhead, making efficiency a critical bottleneck. In this work, we first demonstrate that NoThinking, which prompts the reasoning model to skip thinking and directly generate the final solution, is a better choice for relatively simple tasks in terms of both performance and efficiency. Motivated by this, we propose AdaptThink, a novel RL algorithm to teach reasoning models to choose the optimal thinking mode adaptively based on problem difficulty. Specifically, AdaptThink features two core components: (1) a constrained optimization objective that encourages the model to choose NoThinking while maintaining the overall performance; (2) an importance sampling strategy that balances Thinking and NoThinking samples during on-policy training, thereby enabling cold start and allowing the model to explore and exploit both thinking modes throughout the training process. Our experiments indicate that AdaptThink significantly reduces the inference costs while further enhancing performance. Notably, on three math datasets, AdaptThink reduces the average response length of DeepSeek-R1-Distill-Qwen-1.5B by 53% and improves its accuracy by 2.4%, highlighting the promise of adaptive thinking-mode selection for optimizing the balance between reasoning quality and efficiency. Our codes and models are available at https://github.com/THU-KEG/AdaptThink.