AdaptThink: Reasoning-Modelle können lernen, wann sie nachdenken sollen

AdaptThink: Reasoning Models Can Learn When to Think

May 19, 2025

Autoren: Jiajie Zhang, Nianyi Lin, Lei Hou, Ling Feng, Juanzi Li

cs.AI

Zusammenfassung

Kürzlich haben große Reasoning-Modelle durch den Einsatz von menschlichem, tiefem Denken beeindruckende Leistungen bei verschiedenen Aufgaben erzielt. Der langwierige Denkprozess erhöht jedoch den Inferenzaufwand erheblich, was die Effizienz zu einem kritischen Engpass macht. In dieser Arbeit zeigen wir zunächst, dass NoThinking, bei dem das Reasoning-Modell dazu aufgefordert wird, das Denken zu überspringen und direkt die endgültige Lösung zu generieren, für relativ einfache Aufgaben in Bezug auf Leistung und Effizienz die bessere Wahl ist. Motiviert durch diese Erkenntnis schlagen wir AdaptThink vor, einen neuartigen RL-Algorithmus, der Reasoning-Modelle dazu anleitet, den optimalen Denkmodus basierend auf der Schwierigkeit der Aufgabe adaptiv zu wählen. Insbesondere zeichnet sich AdaptThink durch zwei Kernkomponenten aus: (1) ein eingeschränktes Optimierungsziel, das das Modell dazu anregt, NoThinking zu wählen, während die Gesamtleistung erhalten bleibt; (2) eine Importance-Sampling-Strategie, die Thinking- und NoThinking-Beispiele während des On-Policy-Trainings ausbalanciert, wodurch ein Kaltstart ermöglicht wird und das Modell in der Lage ist, beide Denkmodi während des Trainingsprozesses zu erkunden und zu nutzen. Unsere Experimente zeigen, dass AdaptThink die Inferenzkosten signifikant reduziert und gleichzeitig die Leistung weiter verbessert. Bemerkenswerterweise reduziert AdaptThink auf drei mathematischen Datensätzen die durchschnittliche Antwortlänge von DeepSeek-R1-Distill-Qwen-1.5B um 53 % und verbessert dessen Genauigkeit um 2,4 %, was das Potenzial der adaptiven Auswahl des Denkmodus zur Optimierung des Gleichgewichts zwischen Reasoning-Qualität und Effizienz unterstreicht. Unsere Codes und Modelle sind unter https://github.com/THU-KEG/AdaptThink verfügbar.

English

Recently, large reasoning models have achieved impressive performance on various tasks by employing human-like deep thinking. However, the lengthy thinking process substantially increases inference overhead, making efficiency a critical bottleneck. In this work, we first demonstrate that NoThinking, which prompts the reasoning model to skip thinking and directly generate the final solution, is a better choice for relatively simple tasks in terms of both performance and efficiency. Motivated by this, we propose AdaptThink, a novel RL algorithm to teach reasoning models to choose the optimal thinking mode adaptively based on problem difficulty. Specifically, AdaptThink features two core components: (1) a constrained optimization objective that encourages the model to choose NoThinking while maintaining the overall performance; (2) an importance sampling strategy that balances Thinking and NoThinking samples during on-policy training, thereby enabling cold start and allowing the model to explore and exploit both thinking modes throughout the training process. Our experiments indicate that AdaptThink significantly reduces the inference costs while further enhancing performance. Notably, on three math datasets, AdaptThink reduces the average response length of DeepSeek-R1-Distill-Qwen-1.5B by 53% and improves its accuracy by 2.4%, highlighting the promise of adaptive thinking-mode selection for optimizing the balance between reasoning quality and efficiency. Our codes and models are available at https://github.com/THU-KEG/AdaptThink.