Permettons aux LLM de se libérer de la surréflexion grâce à l'ajustement par auto-freinage

Let LLMs Break Free from Overthinking via Self-Braking Tuning

May 20, 2025

Auteurs: Haoran Zhao, Yuchen Yan, Yongliang Shen, Haolei Xu, Wenqi Zhang, Kaitao Song, Jian Shao, Weiming Lu, Jun Xiao, Yueting Zhuang

cs.AI

Résumé

Les grands modèles de raisonnement (Large Reasoning Models, LRMs), tels qu'OpenAI o1 et DeepSeek-R1, ont considérablement amélioré leurs capacités de raisonnement en générant des chaînes de pensée plus longues, démontrant des performances exceptionnelles sur une variété de tâches. Cependant, ce gain de performance s'accompagne d'une augmentation substantielle de raisonnements redondants lors du processus de génération, entraînant un surcoût computationnel important et exacerbant le problème de la surréflexion. Bien que de nombreuses approches existantes visent à résoudre ce problème, elles reposent souvent sur des interventions externes. Dans cet article, nous proposons un nouveau cadre, le Self-Braking Tuning (SBT), qui aborde la surréflexion en permettant au modèle de réguler son propre processus de raisonnement, éliminant ainsi la dépendance à des mécanismes de contrôle externes. Nous construisons un ensemble de métriques d'identification de la surréflexion basées sur des réponses standard et concevons une méthode systématique pour détecter les raisonnements redondants. Cette méthode identifie avec précision les étapes inutiles dans la trajectoire de raisonnement et génère des signaux d'apprentissage pour les comportements d'autorégulation. Sur cette base, nous développons une stratégie complète pour construire des données avec des longueurs de raisonnement adaptatives et introduisons un mécanisme innovant de prompts de freinage qui permet au modèle d'apprendre naturellement quand arrêter le raisonnement à un point approprié. Les expériences menées sur des benchmarks mathématiques (AIME, AMC, MATH500, GSM8K) montrent que notre méthode réduit la consommation de tokens jusqu'à 60% tout en maintenant une précision comparable à celle des modèles non contraints.

English

Large reasoning models (LRMs), such as OpenAI o1 and DeepSeek-R1, have significantly enhanced their reasoning capabilities by generating longer chains of thought, demonstrating outstanding performance across a variety of tasks. However, this performance gain comes at the cost of a substantial increase in redundant reasoning during the generation process, leading to high computational overhead and exacerbating the issue of overthinking. Although numerous existing approaches aim to address the problem of overthinking, they often rely on external interventions. In this paper, we propose a novel framework, Self-Braking Tuning (SBT), which tackles overthinking from the perspective of allowing the model to regulate its own reasoning process, thus eliminating the reliance on external control mechanisms. We construct a set of overthinking identification metrics based on standard answers and design a systematic method to detect redundant reasoning. This method accurately identifies unnecessary steps within the reasoning trajectory and generates training signals for learning self-regulation behaviors. Building on this foundation, we develop a complete strategy for constructing data with adaptive reasoning lengths and introduce an innovative braking prompt mechanism that enables the model to naturally learn when to terminate reasoning at an appropriate point. Experiments across mathematical benchmarks (AIME, AMC, MATH500, GSM8K) demonstrate that our method reduces token consumption by up to 60% while maintaining comparable accuracy to unconstrained models.