Позволим языковым моделям освободиться от чрезмерного анализа через настройку с самоограничением

Let LLMs Break Free from Overthinking via Self-Braking Tuning

May 20, 2025

Авторы: Haoran Zhao, Yuchen Yan, Yongliang Shen, Haolei Xu, Wenqi Zhang, Kaitao Song, Jian Shao, Weiming Lu, Jun Xiao, Yueting Zhuang

cs.AI

Аннотация

Крупные модели рассуждений (LRMs), такие как OpenAI o1 и DeepSeek-R1, значительно улучшили свои способности к рассуждению за счёт генерации более длинных цепочек мыслей, демонстрируя выдающуюся производительность в различных задачах. Однако это улучшение производительности достигается за счёт существенного увеличения избыточных рассуждений в процессе генерации, что приводит к высоким вычислительным затратам и усугубляет проблему чрезмерного анализа. Хотя множество существующих подходов направлено на решение проблемы чрезмерного анализа, они часто полагаются на внешние вмешательства. В данной статье мы предлагаем новую структуру, Самонастраиваемое Торможение (Self-Braking Tuning, SBT), которая решает проблему чрезмерного анализа, позволяя модели регулировать собственный процесс рассуждений, тем самым устраняя зависимость от внешних механизмов контроля. Мы разрабатываем набор метрик для идентификации чрезмерного анализа на основе эталонных ответов и создаём систематический метод для обнаружения избыточных рассуждений. Этот метод точно выявляет ненужные шаги в траектории рассуждений и генерирует обучающие сигналы для изучения поведения саморегуляции. На основе этого мы разрабатываем полную стратегию для создания данных с адаптивной длиной рассуждений и вводим инновационный механизм тормозящих подсказок, который позволяет модели естественным образом обучаться тому, когда следует завершать рассуждения в подходящий момент. Эксперименты на математических тестах (AIME, AMC, MATH500, GSM8K) показывают, что наш метод сокращает потребление токенов до 60%, сохраняя при этом сопоставимую точность с моделями без ограничений.

English

Large reasoning models (LRMs), such as OpenAI o1 and DeepSeek-R1, have significantly enhanced their reasoning capabilities by generating longer chains of thought, demonstrating outstanding performance across a variety of tasks. However, this performance gain comes at the cost of a substantial increase in redundant reasoning during the generation process, leading to high computational overhead and exacerbating the issue of overthinking. Although numerous existing approaches aim to address the problem of overthinking, they often rely on external interventions. In this paper, we propose a novel framework, Self-Braking Tuning (SBT), which tackles overthinking from the perspective of allowing the model to regulate its own reasoning process, thus eliminating the reliance on external control mechanisms. We construct a set of overthinking identification metrics based on standard answers and design a systematic method to detect redundant reasoning. This method accurately identifies unnecessary steps within the reasoning trajectory and generates training signals for learning self-regulation behaviors. Building on this foundation, we develop a complete strategy for constructing data with adaptive reasoning lengths and introduce an innovative braking prompt mechanism that enables the model to naturally learn when to terminate reasoning at an appropriate point. Experiments across mathematical benchmarks (AIME, AMC, MATH500, GSM8K) demonstrate that our method reduces token consumption by up to 60% while maintaining comparable accuracy to unconstrained models.