Lassen Sie LLMs durch Selbstbrems-Tuning vom Überdenken befreien

Let LLMs Break Free from Overthinking via Self-Braking Tuning

May 20, 2025

Autoren: Haoran Zhao, Yuchen Yan, Yongliang Shen, Haolei Xu, Wenqi Zhang, Kaitao Song, Jian Shao, Weiming Lu, Jun Xiao, Yueting Zhuang

cs.AI

Zusammenfassung

Große Reasoning-Modelle (LRMs), wie OpenAI o1 und DeepSeek-R1, haben ihre Fähigkeiten zur logischen Schlussfolgerung erheblich verbessert, indem sie längere Gedankenketten generieren und dabei herausragende Leistungen in einer Vielzahl von Aufgaben demonstrieren. Dieser Leistungsgewinn geht jedoch mit einem erheblichen Anstieg redundanter Schlussfolgerungen während des Generierungsprozesses einher, was zu hohem Rechenaufwand führt und das Problem des Überdenkens verschärft. Obwohl zahlreiche bestehende Ansätze darauf abzielen, das Problem des Überdenkens zu lösen, stützen sie sich oft auf externe Eingriffe. In diesem Artikel schlagen wir ein neuartiges Framework vor, Self-Braking Tuning (SBT), das das Überdenken aus der Perspektive angeht, dem Modell zu ermöglichen, seinen eigenen Reasoning-Prozess zu regulieren und somit die Abhängigkeit von externen Kontrollmechanismen zu beseitigen. Wir entwickeln eine Reihe von Metriken zur Identifikation von Überdenken, die auf Standardantworten basieren, und entwerfen eine systematische Methode zur Erkennung redundanter Schlussfolgerungen. Diese Methode identifiziert präzise unnötige Schritte innerhalb des Reasoning-Pfads und generiert Trainingssignale für das Erlernen von Selbstregulierungsverhalten. Auf dieser Grundlage entwickeln wir eine umfassende Strategie zur Erstellung von Daten mit adaptiven Reasoning-Längen und führen einen innovativen Brems-Prompt-Mechanismus ein, der es dem Modell ermöglicht, auf natürliche Weise zu lernen, wann es den Reasoning-Prozess an einem geeigneten Punkt beenden soll. Experimente über mathematische Benchmarks (AIME, AMC, MATH500, GSM8K) zeigen, dass unsere Methode den Token-Verbrauch um bis zu 60 % reduziert, während sie eine vergleichbare Genauigkeit wie unbegrenzte Modelle beibehält.

English

Large reasoning models (LRMs), such as OpenAI o1 and DeepSeek-R1, have significantly enhanced their reasoning capabilities by generating longer chains of thought, demonstrating outstanding performance across a variety of tasks. However, this performance gain comes at the cost of a substantial increase in redundant reasoning during the generation process, leading to high computational overhead and exacerbating the issue of overthinking. Although numerous existing approaches aim to address the problem of overthinking, they often rely on external interventions. In this paper, we propose a novel framework, Self-Braking Tuning (SBT), which tackles overthinking from the perspective of allowing the model to regulate its own reasoning process, thus eliminating the reliance on external control mechanisms. We construct a set of overthinking identification metrics based on standard answers and design a systematic method to detect redundant reasoning. This method accurately identifies unnecessary steps within the reasoning trajectory and generates training signals for learning self-regulation behaviors. Building on this foundation, we develop a complete strategy for constructing data with adaptive reasoning lengths and introduce an innovative braking prompt mechanism that enables the model to naturally learn when to terminate reasoning at an appropriate point. Experiments across mathematical benchmarks (AIME, AMC, MATH500, GSM8K) demonstrate that our method reduces token consumption by up to 60% while maintaining comparable accuracy to unconstrained models.