AdaptThink: Модели рассуждений могут научиться, когда нужно думать

AdaptThink: Reasoning Models Can Learn When to Think

May 19, 2025

Авторы: Jiajie Zhang, Nianyi Lin, Lei Hou, Ling Feng, Juanzi Li

cs.AI

Аннотация

В последнее время крупные модели рассуждений достигли впечатляющих результатов в различных задачах благодаря использованию глубокого, человекообразного мышления. Однако длительный процесс мышления существенно увеличивает вычислительные затраты, делая эффективность критическим узким местом. В данной работе мы сначала показываем, что подход NoThinking, который побуждает модель рассуждений пропускать процесс мышления и напрямую генерировать окончательное решение, является более предпочтительным для относительно простых задач с точки зрения как производительности, так и эффективности. Вдохновленные этим, мы предлагаем AdaptThink — новый алгоритм обучения с подкреплением, который учит модели рассуждений адаптивно выбирать оптимальный режим мышления в зависимости от сложности задачи. В частности, AdaptThink включает два ключевых компонента: (1) ограниченную целевую функцию оптимизации, которая побуждает модель выбирать NoThinking, сохраняя при этом общую производительность; (2) стратегию важности выборки, которая балансирует примеры с использованием Thinking и NoThinking в процессе обучения на основе текущей политики, что позволяет начать обучение с нуля и исследовать оба режима мышления на протяжении всего процесса обучения. Наши эксперименты показывают, что AdaptThink значительно снижает вычислительные затраты, одновременно улучшая производительность. В частности, на трех математических наборах данных AdaptThink сокращает среднюю длину ответа модели DeepSeek-R1-Distill-Qwen-1.5B на 53% и повышает её точность на 2.4%, что подчеркивает перспективность адаптивного выбора режима мышления для оптимизации баланса между качеством рассуждений и эффективностью. Наши коды и модели доступны по адресу https://github.com/THU-KEG/AdaptThink.

English

Recently, large reasoning models have achieved impressive performance on various tasks by employing human-like deep thinking. However, the lengthy thinking process substantially increases inference overhead, making efficiency a critical bottleneck. In this work, we first demonstrate that NoThinking, which prompts the reasoning model to skip thinking and directly generate the final solution, is a better choice for relatively simple tasks in terms of both performance and efficiency. Motivated by this, we propose AdaptThink, a novel RL algorithm to teach reasoning models to choose the optimal thinking mode adaptively based on problem difficulty. Specifically, AdaptThink features two core components: (1) a constrained optimization objective that encourages the model to choose NoThinking while maintaining the overall performance; (2) an importance sampling strategy that balances Thinking and NoThinking samples during on-policy training, thereby enabling cold start and allowing the model to explore and exploit both thinking modes throughout the training process. Our experiments indicate that AdaptThink significantly reduces the inference costs while further enhancing performance. Notably, on three math datasets, AdaptThink reduces the average response length of DeepSeek-R1-Distill-Qwen-1.5B by 53% and improves its accuracy by 2.4%, highlighting the promise of adaptive thinking-mode selection for optimizing the balance between reasoning quality and efficiency. Our codes and models are available at https://github.com/THU-KEG/AdaptThink.