Permitamos que los LLM se liberen de la sobrecarga cognitiva mediante el ajuste de autofrenado.

Let LLMs Break Free from Overthinking via Self-Braking Tuning

May 20, 2025

Autores: Haoran Zhao, Yuchen Yan, Yongliang Shen, Haolei Xu, Wenqi Zhang, Kaitao Song, Jian Shao, Weiming Lu, Jun Xiao, Yueting Zhuang

cs.AI

Resumen

Los modelos de razonamiento a gran escala (LRMs, por sus siglas en inglés), como OpenAI o1 y DeepSeek-R1, han mejorado significativamente sus capacidades de razonamiento al generar cadenas de pensamiento más largas, demostrando un rendimiento sobresaliente en una variedad de tareas. Sin embargo, esta mejora en el rendimiento conlleva un aumento sustancial en el razonamiento redundante durante el proceso de generación, lo que resulta en un alto costo computacional y agrava el problema de la sobre-reflexión. Aunque existen numerosos enfoques que buscan abordar el problema de la sobre-reflexión, estos suelen depender de intervenciones externas. En este artículo, proponemos un marco novedoso, llamado Ajuste de Autofrenado (SBT, por sus siglas en inglés), que aborda la sobre-reflexión desde la perspectiva de permitir que el modelo regule su propio proceso de razonamiento, eliminando así la dependencia de mecanismos de control externos. Construimos un conjunto de métricas de identificación de sobre-reflexión basadas en respuestas estándar y diseñamos un método sistemático para detectar el razonamiento redundante. Este método identifica con precisión los pasos innecesarios dentro de la trayectoria de razonamiento y genera señales de entrenamiento para aprender comportamientos de autorregulación. Sobre esta base, desarrollamos una estrategia completa para construir datos con longitudes de razonamiento adaptativas e introducimos un mecanismo innovador de indicación de frenado que permite al modelo aprender de manera natural cuándo terminar el razonamiento en un punto adecuado. Los experimentos realizados en benchmarks matemáticos (AIME, AMC, MATH500, GSM8K) demuestran que nuestro método reduce el consumo de tokens hasta en un 60%, manteniendo una precisión comparable a la de los modelos sin restricciones.

English

Large reasoning models (LRMs), such as OpenAI o1 and DeepSeek-R1, have significantly enhanced their reasoning capabilities by generating longer chains of thought, demonstrating outstanding performance across a variety of tasks. However, this performance gain comes at the cost of a substantial increase in redundant reasoning during the generation process, leading to high computational overhead and exacerbating the issue of overthinking. Although numerous existing approaches aim to address the problem of overthinking, they often rely on external interventions. In this paper, we propose a novel framework, Self-Braking Tuning (SBT), which tackles overthinking from the perspective of allowing the model to regulate its own reasoning process, thus eliminating the reliance on external control mechanisms. We construct a set of overthinking identification metrics based on standard answers and design a systematic method to detect redundant reasoning. This method accurately identifies unnecessary steps within the reasoning trajectory and generates training signals for learning self-regulation behaviors. Building on this foundation, we develop a complete strategy for constructing data with adaptive reasoning lengths and introduce an innovative braking prompt mechanism that enables the model to naturally learn when to terminate reasoning at an appropriate point. Experiments across mathematical benchmarks (AIME, AMC, MATH500, GSM8K) demonstrate that our method reduces token consumption by up to 60% while maintaining comparable accuracy to unconstrained models.