Permita que os LLMs se libertem do excesso de reflexão por meio da Sintonização de Autofrenagem

Resumo

Modelos de raciocínio de grande escala (LRMs), como o OpenAI o1 e o DeepSeek-R1, aprimoraram significativamente suas capacidades de raciocínio ao gerar cadeias de pensamento mais longas, demonstrando desempenho excepcional em uma variedade de tarefas. No entanto, esse ganho de desempenho vem ao custo de um aumento substancial no raciocínio redundante durante o processo de geração, resultando em alta sobrecarga computacional e agravando o problema de "overthinking" (pensamento excessivo). Embora diversas abordagens existentes busquem resolver o problema do overthinking, elas frequentemente dependem de intervenções externas. Neste artigo, propomos um novo framework, o Self-Braking Tuning (SBT), que aborda o overthinking a partir da perspectiva de permitir que o modelo regule seu próprio processo de raciocínio, eliminando assim a dependência de mecanismos de controle externos. Construímos um conjunto de métricas de identificação de overthinking baseadas em respostas padrão e projetamos um método sistemático para detectar raciocínio redundante. Esse método identifica com precisão etapas desnecessárias dentro da trajetória de raciocínio e gera sinais de treinamento para aprender comportamentos de autorregulação. Com base nisso, desenvolvemos uma estratégia completa para a construção de dados com comprimentos de raciocínio adaptativos e introduzimos um mecanismo inovador de "braking prompt" (prompt de frenagem) que permite ao modelo aprender naturalmente quando encerrar o raciocínio em um ponto apropriado. Experimentos em benchmarks matemáticos (AIME, AMC, MATH500, GSM8K) demonstram que nosso método reduz o consumo de tokens em até 60%, mantendo uma precisão comparável a modelos sem restrições.

English

Large reasoning models (LRMs), such as OpenAI o1 and DeepSeek-R1, have significantly enhanced their reasoning capabilities by generating longer chains of thought, demonstrating outstanding performance across a variety of tasks. However, this performance gain comes at the cost of a substantial increase in redundant reasoning during the generation process, leading to high computational overhead and exacerbating the issue of overthinking. Although numerous existing approaches aim to address the problem of overthinking, they often rely on external interventions. In this paper, we propose a novel framework, Self-Braking Tuning (SBT), which tackles overthinking from the perspective of allowing the model to regulate its own reasoning process, thus eliminating the reliance on external control mechanisms. We construct a set of overthinking identification metrics based on standard answers and design a systematic method to detect redundant reasoning. This method accurately identifies unnecessary steps within the reasoning trajectory and generates training signals for learning self-regulation behaviors. Building on this foundation, we develop a complete strategy for constructing data with adaptive reasoning lengths and introduce an innovative braking prompt mechanism that enables the model to naturally learn when to terminate reasoning at an appropriate point. Experiments across mathematical benchmarks (AIME, AMC, MATH500, GSM8K) demonstrate that our method reduces token consumption by up to 60% while maintaining comparable accuracy to unconstrained models.

Permita que os LLMs se libertem do excesso de reflexão por meio da Sintonização de Autofrenagem

Let LLMs Break Free from Overthinking via Self-Braking Tuning

Resumo

Support