Piensa Correctamente: Aprendiendo a Mitigar el Pensamiento Insuficiente-Excesivo mediante Compresión Adaptativa y Atenta

Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression

October 2, 2025

Autores: Joykirat Singh, Justin Chih-Yao Chen, Archiki Prasad, Elias Stengel-Eskin, Akshay Nambi, Mohit Bansal

cs.AI

Resumen

Los modelos de pensamiento recientes resuelven tareas de razonamiento complejo escalando el cómputo en tiempo de prueba, pero esta escalabilidad debe asignarse en función de la dificultad de la tarea. Por un lado, un razonamiento corto (subpensamiento) conduce a errores en problemas más difíciles que requieren pasos de razonamiento extendidos; pero, un razonamiento excesivamente largo (sobrepensamiento) puede ser ineficiente en términos de tokens, generando pasos innecesarios incluso después de alcanzar una solución intermedia correcta. Nos referimos a esto como subadaptabilidad, donde el modelo no logra modular adecuadamente la longitud de su respuesta ante problemas de diversa dificultad. Para abordar la subadaptabilidad y lograr un equilibrio entre el subpensamiento y el sobrepensamiento, proponemos TRAAC (Think Right with Adaptive, Attentive Compression), un método de aprendizaje por refuerzo (RL) en línea posentrenamiento que aprovecha la autoatención del modelo sobre una trayectoria de razonamiento larga para identificar pasos importantes y eliminar los redundantes. TRAAC también estima la dificultad y la incorpora en las recompensas de entrenamiento, aprendiendo así a asignar un presupuesto de razonamiento proporcional a la dificultad del ejemplo. Nuestro enfoque mejora la precisión, reduce los pasos de razonamiento y permite un pensamiento adaptativo en comparación con los modelos base y otros métodos de RL. En una variedad de tareas (AIME, AMC, GPQA-D, BBEH), TRAAC (Qwen3-4B) logra una ganancia absoluta promedio en precisión del 8.4% con una reducción relativa en la longitud del razonamiento del 36.8% en comparación con el modelo base, y una ganancia en precisión del 7.9% junto con una reducción del 29.4% en la longitud en comparación con el mejor método de RL. TRAAC también muestra una fuerte generalización: aunque nuestros modelos se entrenan en conjuntos de datos matemáticos, muestran mejoras en precisión y eficiencia en conjuntos de datos no matemáticos fuera de distribución, como GPQA-D, BBEH y OptimalThinkingBench. Nuestro análisis verifica además que TRAAC proporciona ajustes detallados al presupuesto de pensamiento basados en la dificultad y que una combinación de calibración de la dificultad de la tarea y compresión basada en atención produce ganancias en diversas tareas.

English

Recent thinking models solve complex reasoning tasks by scaling test-time compute, but this scaling must be allocated in line with task difficulty. On one hand, short reasoning (underthinking) leads to errors on harder problems that require extended reasoning steps; but, excessively long reasoning (overthinking) can be token-inefficient, generating unnecessary steps even after reaching a correct intermediate solution. We refer to this as under-adaptivity, where the model fails to modulate its response length appropriately given problems of varying difficulty. To address under-adaptivity and strike a balance between under- and overthinking, we propose TRAAC (Think Right with Adaptive, Attentive Compression), an online post-training RL method that leverages the model's self-attention over a long reasoning trajectory to identify important steps and prune redundant ones. TRAAC also estimates difficulty and incorporates it into training rewards, thereby learning to allocate reasoning budget commensurate with example difficulty. Our approach improves accuracy, reduces reasoning steps, and enables adaptive thinking compared to base models and other RL baselines. Across a variety of tasks (AIME, AMC, GPQA-D, BBEH), TRAAC (Qwen3-4B) achieves an average absolute accuracy gain of 8.4% with a relative reduction in reasoning length of 36.8% compared to the base model, and a 7.9% accuracy gain paired with a 29.4% length drop compared to the best RL baseline. TRAAC also shows strong generalization: although our models are trained on math datasets, they show accuracy and efficiency gains on out-of-distribution non-math datasets like GPQA-D, BBEH, and OptimalThinkingBench. Our analysis further verifies that TRAAC provides fine-grained adjustments to thinking budget based on difficulty and that a combination of task-difficulty calibration and attention-based compression yields gains across diverse tasks.