Permetti agli LLM di liberarsi dal sovrapensiero tramite la regolazione dell'autofrenatura

Abstract

I grandi modelli di ragionamento (Large Reasoning Models, LRM), come OpenAI o1 e DeepSeek-R1, hanno notevolmente migliorato le loro capacità di ragionamento generando catene di pensiero più lunghe, dimostrando prestazioni eccezionali in una varietà di compiti. Tuttavia, questo guadagno in termini di prestazioni avviene al costo di un sostanziale aumento del ragionamento ridondante durante il processo di generazione, portando a un elevato sovraccarico computazionale e aggravando il problema del sovrapensiero. Sebbene numerosi approcci esistenti mirino a risolvere il problema del sovrapensiero, essi spesso si basano su interventi esterni. In questo articolo, proponiamo un nuovo framework, il Self-Braking Tuning (SBT), che affronta il sovrapensiero dalla prospettiva di consentire al modello di regolare autonomamente il proprio processo di ragionamento, eliminando così la dipendenza da meccanismi di controllo esterni. Costruiamo un insieme di metriche di identificazione del sovrapensiero basate su risposte standard e progettiamo un metodo sistematico per rilevare il ragionamento ridondante. Questo metodo identifica accuratamente i passaggi non necessari all'interno della traiettoria di ragionamento e genera segnali di addestramento per apprendere comportamenti di autoregolazione. Sulla base di queste fondamenta, sviluppiamo una strategia completa per la costruzione di dati con lunghezze di ragionamento adattive e introduciamo un innovativo meccanismo di prompt di frenata che consente al modello di apprendere naturalmente quando terminare il ragionamento in un punto appropriato. Esperimenti condotti su benchmark matematici (AIME, AMC, MATH500, GSM8K) dimostrano che il nostro metodo riduce il consumo di token fino al 60% mantenendo un'accuratezza comparabile a quella dei modelli non vincolati.

English

Large reasoning models (LRMs), such as OpenAI o1 and DeepSeek-R1, have significantly enhanced their reasoning capabilities by generating longer chains of thought, demonstrating outstanding performance across a variety of tasks. However, this performance gain comes at the cost of a substantial increase in redundant reasoning during the generation process, leading to high computational overhead and exacerbating the issue of overthinking. Although numerous existing approaches aim to address the problem of overthinking, they often rely on external interventions. In this paper, we propose a novel framework, Self-Braking Tuning (SBT), which tackles overthinking from the perspective of allowing the model to regulate its own reasoning process, thus eliminating the reliance on external control mechanisms. We construct a set of overthinking identification metrics based on standard answers and design a systematic method to detect redundant reasoning. This method accurately identifies unnecessary steps within the reasoning trajectory and generates training signals for learning self-regulation behaviors. Building on this foundation, we develop a complete strategy for constructing data with adaptive reasoning lengths and introduce an innovative braking prompt mechanism that enables the model to naturally learn when to terminate reasoning at an appropriate point. Experiments across mathematical benchmarks (AIME, AMC, MATH500, GSM8K) demonstrate that our method reduces token consumption by up to 60% while maintaining comparable accuracy to unconstrained models.

Permetti agli LLM di liberarsi dal sovrapensiero tramite la regolazione dell'autofrenatura

Let LLMs Break Free from Overthinking via Self-Braking Tuning

Abstract

Support