Denk Juist: Leren om Onder-Over Denken te Mitigeren via Adaptieve, Aandachtige Compressie

Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression

October 2, 2025

Auteurs: Joykirat Singh, Justin Chih-Yao Chen, Archiki Prasad, Elias Stengel-Eskin, Akshay Nambi, Mohit Bansal

cs.AI

Samenvatting

Recente denkmodellen lossen complexe redeneertaken op door de rekentijd tijdens het testen te schalen, maar deze schaling moet worden toegewezen in overeenstemming met de taakmoeilijkheid. Enerzijds leidt kort redeneren (onderdenken) tot fouten bij moeilijkere problemen die uitgebreide redeneerstappen vereisen; anderzijds kan excessief lang redeneren (overdenken) token-inefficiënt zijn, waarbij onnodige stappen worden gegenereerd zelfs nadat een correcte tussenoplossing is bereikt. We verwijzen hiernaar als onder-adaptiviteit, waarbij het model er niet in slaagt de lengte van zijn reactie adequaat aan te passen aan problemen van uiteenlopende moeilijkheidsgraad. Om onder-adaptiviteit aan te pakken en een balans te vinden tussen onder- en overdenken, stellen we TRAAC voor (Think Right with Adaptive, Attentive Compression), een online post-training RL-methode die gebruikmaakt van de zelf-attentie van het model over een lange redeneertraject om belangrijke stappen te identificeren en overbodige stappen te verwijderen. TRAAC schat ook de moeilijkheidsgraad en integreert deze in de trainingsbeloningen, waardoor het leert om het redeneerbudget toe te wijzen in overeenstemming met de moeilijkheidsgraad van het voorbeeld. Onze aanpak verbetert de nauwkeurigheid, vermindert het aantal redeneerstappen en maakt adaptief denken mogelijk in vergelijking met basismodellen en andere RL-baselines. Over een verscheidenheid aan taken (AIME, AMC, GPQA-D, BBEH) behaalt TRAAC (Qwen3-4B) een gemiddelde absolute nauwkeurigheidswinst van 8,4% met een relatieve vermindering van de redeneerlengte van 36,8% in vergelijking met het basismodel, en een nauwkeurigheidswinst van 7,9% gepaard met een lengtereductie van 29,4% in vergelijking met de beste RL-baseline. TRAAC toont ook sterke generalisatie: hoewel onze modellen zijn getraind op wiskundige datasets, laten ze nauwkeurigheids- en efficiëntiewinsten zien op out-of-distribution niet-wiskundige datasets zoals GPQA-D, BBEH en OptimalThinkingBench. Onze analyse bevestigt verder dat TRAAC fijnmazige aanpassingen maakt aan het denkbudget op basis van moeilijkheid en dat een combinatie van taakmoeilijkheidskalibratie en aandacht-gebaseerde compressie winst oplevert over diverse taken.

English

Recent thinking models solve complex reasoning tasks by scaling test-time compute, but this scaling must be allocated in line with task difficulty. On one hand, short reasoning (underthinking) leads to errors on harder problems that require extended reasoning steps; but, excessively long reasoning (overthinking) can be token-inefficient, generating unnecessary steps even after reaching a correct intermediate solution. We refer to this as under-adaptivity, where the model fails to modulate its response length appropriately given problems of varying difficulty. To address under-adaptivity and strike a balance between under- and overthinking, we propose TRAAC (Think Right with Adaptive, Attentive Compression), an online post-training RL method that leverages the model's self-attention over a long reasoning trajectory to identify important steps and prune redundant ones. TRAAC also estimates difficulty and incorporates it into training rewards, thereby learning to allocate reasoning budget commensurate with example difficulty. Our approach improves accuracy, reduces reasoning steps, and enables adaptive thinking compared to base models and other RL baselines. Across a variety of tasks (AIME, AMC, GPQA-D, BBEH), TRAAC (Qwen3-4B) achieves an average absolute accuracy gain of 8.4% with a relative reduction in reasoning length of 36.8% compared to the base model, and a 7.9% accuracy gain paired with a 29.4% length drop compared to the best RL baseline. TRAAC also shows strong generalization: although our models are trained on math datasets, they show accuracy and efficiency gains on out-of-distribution non-math datasets like GPQA-D, BBEH, and OptimalThinkingBench. Our analysis further verifies that TRAAC provides fine-grained adjustments to thinking budget based on difficulty and that a combination of task-difficulty calibration and attention-based compression yields gains across diverse tasks.