Richtig Denken: Lernen, Unter- und Überdenken durch adaptive, aufmerksame Kompression zu mildern

Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression

October 2, 2025

papers.authors: Joykirat Singh, Justin Chih-Yao Chen, Archiki Prasad, Elias Stengel-Eskin, Akshay Nambi, Mohit Bansal

cs.AI

papers.abstract

Aktuelle Denkmodelle lösen komplexe Aufgaben durch die Skalierung der Rechenleistung zur Testzeit, doch diese Skalierung muss in Abhängigkeit von der Aufgabenschwierigkeit erfolgen. Einerseits führt kurzes Denken (Unterdenken) zu Fehlern bei schwierigeren Problemen, die ausgedehnte Denkschritte erfordern; andererseits kann übermäßig langes Denken (Überdenken) token-ineffizient sein, da unnötige Schritte generiert werden, selbst nachdem eine korrekte Zwischenlösung erreicht wurde. Wir bezeichnen dies als Unteradaptivität, bei der das Modell nicht in der Lage ist, die Länge seiner Antwort angemessen an die unterschiedliche Schwierigkeit der Probleme anzupassen. Um die Unteradaptivität zu beheben und ein Gleichgewicht zwischen Unter- und Überdenken zu erreichen, schlagen wir TRAAC (Think Right with Adaptive, Attentive Compression) vor, eine Online-Nachtrainingsmethode mit Verstärkungslernen (RL), die die Selbstaufmerksamkeit des Modells über einen langen Denkpfad nutzt, um wichtige Schritte zu identifizieren und redundante zu entfernen. TRAAC schätzt zudem die Schwierigkeit und integriert sie in die Trainingsbelohnungen, wodurch es lernt, das Denkbudget entsprechend der Schwierigkeit der Beispiele zuzuteilen. Unser Ansatz verbessert die Genauigkeit, reduziert die Anzahl der Denkschritte und ermöglicht adaptives Denken im Vergleich zu Basismodellen und anderen RL-Baselines. Über eine Vielzahl von Aufgaben (AIME, AMC, GPQA-D, BBEH) erzielt TRAAC (Qwen3-4B) einen durchschnittlichen absoluten Genauigkeitsgewinn von 8,4 % bei einer relativen Reduktion der Denklänge von 36,8 % im Vergleich zum Basismodell sowie einen Genauigkeitsgewinn von 7,9 % bei einer Reduktion der Länge um 29,4 % im Vergleich zur besten RL-Baseline. TRAAC zeigt auch eine starke Generalisierungsfähigkeit: Obwohl unsere Modelle auf mathematischen Datensätzen trainiert wurden, zeigen sie Genauigkeits- und Effizienzgewinne bei außerhalb der Verteilung liegenden nicht-mathematischen Datensätzen wie GPQA-D, BBEH und OptimalThinkingBench. Unsere Analyse bestätigt weiterhin, dass TRAAC fein abgestimmte Anpassungen des Denkbudgets basierend auf der Schwierigkeit vornimmt und dass eine Kombination aus Schwierigkeitskalibrierung und aufmerksamkeitsbasierter Kompression Gewinne über diverse Aufgaben hinweg erzielt.

English

Recent thinking models solve complex reasoning tasks by scaling test-time compute, but this scaling must be allocated in line with task difficulty. On one hand, short reasoning (underthinking) leads to errors on harder problems that require extended reasoning steps; but, excessively long reasoning (overthinking) can be token-inefficient, generating unnecessary steps even after reaching a correct intermediate solution. We refer to this as under-adaptivity, where the model fails to modulate its response length appropriately given problems of varying difficulty. To address under-adaptivity and strike a balance between under- and overthinking, we propose TRAAC (Think Right with Adaptive, Attentive Compression), an online post-training RL method that leverages the model's self-attention over a long reasoning trajectory to identify important steps and prune redundant ones. TRAAC also estimates difficulty and incorporates it into training rewards, thereby learning to allocate reasoning budget commensurate with example difficulty. Our approach improves accuracy, reduces reasoning steps, and enables adaptive thinking compared to base models and other RL baselines. Across a variety of tasks (AIME, AMC, GPQA-D, BBEH), TRAAC (Qwen3-4B) achieves an average absolute accuracy gain of 8.4% with a relative reduction in reasoning length of 36.8% compared to the base model, and a 7.9% accuracy gain paired with a 29.4% length drop compared to the best RL baseline. TRAAC also shows strong generalization: although our models are trained on math datasets, they show accuracy and efficiency gains on out-of-distribution non-math datasets like GPQA-D, BBEH, and OptimalThinkingBench. Our analysis further verifies that TRAAC provides fine-grained adjustments to thinking budget based on difficulty and that a combination of task-difficulty calibration and attention-based compression yields gains across diverse tasks.