Pensa Correttamente: Imparare a Mitigare il Pensiero Sotto-Sopra attraverso la Compressione Adattiva e Attenta

Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression

October 2, 2025

Autori: Joykirat Singh, Justin Chih-Yao Chen, Archiki Prasad, Elias Stengel-Eskin, Akshay Nambi, Mohit Bansal

cs.AI

Abstract

I recenti modelli di pensiero risolvono compiti di ragionamento complesso scalando il calcolo al momento del test, ma questa scalabilità deve essere allocata in base alla difficoltà del compito. Da un lato, un ragionamento troppo breve (sottopensiero) porta a errori su problemi più difficili che richiedono passaggi di ragionamento estesi; dall’altro, un ragionamento eccessivamente lungo (sovrapensiero) può essere inefficiente in termini di token, generando passaggi non necessari anche dopo aver raggiunto una soluzione intermedia corretta. Definiamo questo fenomeno come sotto-adattività, in cui il modello non riesce a modulare adeguatamente la lunghezza della sua risposta in base alla difficoltà variabile dei problemi. Per affrontare la sotto-adattività e trovare un equilibrio tra sottopensiero e sovrapensiero, proponiamo TRAAC (Think Right with Adaptive, Attentive Compression), un metodo di reinforcement learning (RL) online post-addestramento che sfrutta l’auto-attenzione del modello su una traiettoria di ragionamento lunga per identificare i passaggi importanti ed eliminare quelli ridondanti. TRAAC stima inoltre la difficoltà e la incorpora nelle ricompense di addestramento, imparando così ad allocare un budget di ragionamento proporzionato alla difficoltà dell’esempio. Il nostro approccio migliora l’accuratezza, riduce i passaggi di ragionamento e abilita un pensiero adattivo rispetto ai modelli di base e ad altri baseline RL. Su una varietà di compiti (AIME, AMC, GPQA-D, BBEH), TRAAC (Qwen3-4B) ottiene un guadagno medio assoluto di accuratezza dell’8,4% con una riduzione relativa della lunghezza del ragionamento del 36,8% rispetto al modello di base, e un guadagno di accuratezza del 7,9% abbinato a una riduzione della lunghezza del 29,4% rispetto al miglior baseline RL. TRAAC mostra anche una forte generalizzazione: sebbene i nostri modelli siano addestrati su dataset matematici, dimostrano miglioramenti in accuratezza ed efficienza su dataset non matematici fuori distribuzione come GPQA-D, BBEH e OptimalThinkingBench. La nostra analisi verifica ulteriormente che TRAAC fornisce aggiustamenti granulari al budget di pensiero in base alla difficoltà e che una combinazione di calibrazione della difficoltà del compito e compressione basata sull’attenzione produce vantaggi su compiti diversificati.

English

Recent thinking models solve complex reasoning tasks by scaling test-time compute, but this scaling must be allocated in line with task difficulty. On one hand, short reasoning (underthinking) leads to errors on harder problems that require extended reasoning steps; but, excessively long reasoning (overthinking) can be token-inefficient, generating unnecessary steps even after reaching a correct intermediate solution. We refer to this as under-adaptivity, where the model fails to modulate its response length appropriately given problems of varying difficulty. To address under-adaptivity and strike a balance between under- and overthinking, we propose TRAAC (Think Right with Adaptive, Attentive Compression), an online post-training RL method that leverages the model's self-attention over a long reasoning trajectory to identify important steps and prune redundant ones. TRAAC also estimates difficulty and incorporates it into training rewards, thereby learning to allocate reasoning budget commensurate with example difficulty. Our approach improves accuracy, reduces reasoning steps, and enables adaptive thinking compared to base models and other RL baselines. Across a variety of tasks (AIME, AMC, GPQA-D, BBEH), TRAAC (Qwen3-4B) achieves an average absolute accuracy gain of 8.4% with a relative reduction in reasoning length of 36.8% compared to the base model, and a 7.9% accuracy gain paired with a 29.4% length drop compared to the best RL baseline. TRAAC also shows strong generalization: although our models are trained on math datasets, they show accuracy and efficiency gains on out-of-distribution non-math datasets like GPQA-D, BBEH, and OptimalThinkingBench. Our analysis further verifies that TRAAC provides fine-grained adjustments to thinking budget based on difficulty and that a combination of task-difficulty calibration and attention-based compression yields gains across diverse tasks.