AdaptThink: Redeneermodellen kunnen leren wanneer ze moeten nadenken

AdaptThink: Reasoning Models Can Learn When to Think

May 19, 2025

Auteurs: Jiajie Zhang, Nianyi Lin, Lei Hou, Ling Feng, Juanzi Li

cs.AI

Samenvatting

Onlangs hebben grote redeneermodellen indrukwekkende prestaties geleverd op verschillende taken door mensachtig diep nadenken toe te passen. Het langdurige denkproces verhoogt echter aanzienlijk de inferentie-overhead, waardoor efficiëntie een kritieke bottleneck wordt. In dit werk tonen we eerst aan dat NoThinking, waarbij het redeneermodel wordt aangemoedigd om het denken over te slaan en direct de uiteindelijke oplossing te genereren, een betere keuze is voor relatief eenvoudige taken wat betreft zowel prestaties als efficiëntie. Hierdoor geïnspireerd, stellen we AdaptThink voor, een nieuw RL-algoritme om redeneermodellen te leren het optimale denkmodus adaptief te kiezen op basis van de probleemcomplexiteit. Specifiek kenmerkt AdaptThink zich door twee kerncomponenten: (1) een geoptimaliseerd doel dat het model aanmoedigt om NoThinking te kiezen terwijl de algehele prestaties behouden blijven; (2) een importance sampling-strategie die Thinking- en NoThinking- voorbeelden in balans brengt tijdens on-policy training, waardoor een koude start mogelijk wordt en het model beide denkmodi kan verkennen en benutten gedurende het trainingsproces. Onze experimenten tonen aan dat AdaptThink de inferentiekosten aanzienlijk verlaagt terwijl de prestaties verder worden verbeterd. Opmerkelijk is dat AdaptThink op drie wiskundige datasets de gemiddelde responslengte van DeepSeek- R1-Distill-Qwen-1.5B met 53% reduceert en de nauwkeurigheid met 2,4% verbetert, wat de belofte van adaptieve denkmodusselectie benadrukt voor het optimaliseren van de balans tussen redeneerkwaliteit en efficiëntie. Onze codes en modellen zijn beschikbaar op https://github.com/THU-KEG/AdaptThink.

English

Recently, large reasoning models have achieved impressive performance on various tasks by employing human-like deep thinking. However, the lengthy thinking process substantially increases inference overhead, making efficiency a critical bottleneck. In this work, we first demonstrate that NoThinking, which prompts the reasoning model to skip thinking and directly generate the final solution, is a better choice for relatively simple tasks in terms of both performance and efficiency. Motivated by this, we propose AdaptThink, a novel RL algorithm to teach reasoning models to choose the optimal thinking mode adaptively based on problem difficulty. Specifically, AdaptThink features two core components: (1) a constrained optimization objective that encourages the model to choose NoThinking while maintaining the overall performance; (2) an importance sampling strategy that balances Thinking and NoThinking samples during on-policy training, thereby enabling cold start and allowing the model to explore and exploit both thinking modes throughout the training process. Our experiments indicate that AdaptThink significantly reduces the inference costs while further enhancing performance. Notably, on three math datasets, AdaptThink reduces the average response length of DeepSeek-R1-Distill-Qwen-1.5B by 53% and improves its accuracy by 2.4%, highlighting the promise of adaptive thinking-mode selection for optimizing the balance between reasoning quality and efficiency. Our codes and models are available at https://github.com/THU-KEG/AdaptThink.