Когда продолжать размышлять: адаптивное переключение режимов мышления для эффективного рассуждения

When to Continue Thinking: Adaptive Thinking Mode Switching for Efficient Reasoning

May 21, 2025

Авторы: Xiaoyun Zhang, Jingqing Ruan, Xing Ma, Yawen Zhu, Haodong Zhao, Hao Li, Jiansong Chen, Ke Zeng, Xunliang Cai

cs.AI

Аннотация

Крупные модели рассуждений (LRMs) демонстрируют выдающуюся производительность благодаря длинным цепочкам рассуждений, но часто сталкиваются с избыточными вычислительными затратами из-за избыточного анализа, особенно на простых задачах. В данной работе мы систематически оцениваем верхние границы LRMs в режимах "Долгого мышления" и "Отсутствия мышления" и обнаруживаем феномен "Внутреннего механизма самовосстановления", при котором модели неявно дополняют рассуждения в процессе генерации ответа. На основе этого наблюдения мы предлагаем адаптивное самовосстановление рассуждений (ASRR) — фреймворк, который подавляет ненужные рассуждения и обеспечивает неявное восстановление. Благодаря введению регуляции вознаграждения за длину, учитывающей точность, ASRR адаптивно распределяет усилия на рассуждения в зависимости от сложности задачи, достигая высокой эффективности с минимальной потерей производительности. Эксперименты на множестве бенчмарков и моделей показывают, что по сравнению с GRPO, ASRR сокращает бюджет на рассуждения до 32,5% (1,5B) и 25,7% (7B) с минимальной потерей точности (1,2% и 0,6% pass@1) и значительно повышает показатели безопасности (до +21,7%). Наши результаты подчеркивают потенциал ASRR для обеспечения эффективного, адаптивного и безопасного рассуждения в LRMs.

English

Large reasoning models (LRMs) achieve remarkable performance via long reasoning chains, but often incur excessive computational overhead due to redundant reasoning, especially on simple tasks. In this work, we systematically quantify the upper bounds of LRMs under both Long-Thinking and No-Thinking modes, and uncover the phenomenon of "Internal Self-Recovery Mechanism" where models implicitly supplement reasoning during answer generation. Building on this insight, we propose Adaptive Self-Recovery Reasoning (ASRR), a framework that suppresses unnecessary reasoning and enables implicit recovery. By introducing accuracy-aware length reward regulation, ASRR adaptively allocates reasoning effort according to problem difficulty, achieving high efficiency with negligible performance sacrifice. Experiments across multiple benchmarks and models show that, compared with GRPO, ASRR reduces reasoning budget by up to 32.5% (1.5B) and 25.7% (7B) with minimal accuracy loss (1.2% and 0.6% pass@1), and significantly boosts harmless rates on safety benchmarks (up to +21.7%). Our results highlight the potential of ASRR for enabling efficient, adaptive, and safer reasoning in LRMs.