Wanneer Door te Denken: Adaptieve Denkmoduswisseling voor Efficiënt Redeneren

When to Continue Thinking: Adaptive Thinking Mode Switching for Efficient Reasoning

May 21, 2025

Auteurs: Xiaoyun Zhang, Jingqing Ruan, Xing Ma, Yawen Zhu, Haodong Zhao, Hao Li, Jiansong Chen, Ke Zeng, Xunliang Cai

cs.AI

Samenvatting

Grote redeneermodellen (LRMs) behalen opmerkelijke prestaties via lange redeneerketens, maar veroorzaken vaak overmatige rekenkosten door redundante redenering, vooral bij eenvoudige taken. In dit werk kwantificeren we systematisch de bovengrenzen van LRMs onder zowel de Lange-Denken als Geen-Denken modi, en ontdekken we het fenomeen van het "Interne Zelfherstelmechanisme" waarbij modellen impliciet redenering aanvullen tijdens het genereren van antwoorden. Op basis van dit inzicht stellen we Adaptief Zelfherstel Redeneren (ASRR) voor, een raamwerk dat onnodige redenering onderdrukt en impliciet herstel mogelijk maakt. Door het introduceren van nauwkeurigheidsbewuste lengtebeloningsregulatie, wijst ASRR adaptief redeneerinspanning toe volgens de moeilijkheidsgraad van het probleem, waardoor hoge efficiëntie wordt bereikt met verwaarloosbaar prestatieverlies. Experimenten over meerdere benchmarks en modellen tonen aan dat, vergeleken met GRPO, ASRR het redeneerbudget met maximaal 32,5% (1,5B) en 25,7% (7B) reduceert met minimale nauwkeurigheidsverliezen (1,2% en 0,6% pass@1), en de veiligheidspercentages op veiligheidsbenchmarks aanzienlijk verhoogt (tot +21,7%). Onze resultaten benadrukken het potentieel van ASRR voor het mogelijk maken van efficiënte, adaptieve en veiligere redenering in LRMs.

English

Large reasoning models (LRMs) achieve remarkable performance via long reasoning chains, but often incur excessive computational overhead due to redundant reasoning, especially on simple tasks. In this work, we systematically quantify the upper bounds of LRMs under both Long-Thinking and No-Thinking modes, and uncover the phenomenon of "Internal Self-Recovery Mechanism" where models implicitly supplement reasoning during answer generation. Building on this insight, we propose Adaptive Self-Recovery Reasoning (ASRR), a framework that suppresses unnecessary reasoning and enables implicit recovery. By introducing accuracy-aware length reward regulation, ASRR adaptively allocates reasoning effort according to problem difficulty, achieving high efficiency with negligible performance sacrifice. Experiments across multiple benchmarks and models show that, compared with GRPO, ASRR reduces reasoning budget by up to 32.5% (1.5B) and 25.7% (7B) with minimal accuracy loss (1.2% and 0.6% pass@1), and significantly boosts harmless rates on safety benchmarks (up to +21.7%). Our results highlight the potential of ASRR for enabling efficient, adaptive, and safer reasoning in LRMs.