Правильно мыслить: обучение смягчению недо- и переосмысления через адаптивное, внимательное сжатие

Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression

October 2, 2025

Авторы: Joykirat Singh, Justin Chih-Yao Chen, Archiki Prasad, Elias Stengel-Eskin, Akshay Nambi, Mohit Bansal

cs.AI

Аннотация

Современные модели мышления решают сложные задачи рассуждения за счет масштабирования вычислительных ресурсов на этапе тестирования, однако такое масштабирование должно распределяться в соответствии с уровнем сложности задачи. С одной стороны, недостаточное рассуждение (недостаточное мышление) приводит к ошибкам в более сложных задачах, требующих расширенных шагов рассуждения; с другой стороны, избыточное рассуждение (чрезмерное мышление) может быть неэффективным с точки зрения использования токенов, генерируя ненужные шаги даже после достижения правильного промежуточного решения. Мы называем это недостаточной адаптивностью, когда модель не способна модулировать длину своего ответа в зависимости от сложности задачи. Для решения проблемы недостаточной адаптивности и достижения баланса между недостаточным и чрезмерным мышлением мы предлагаем TRAAC (Think Right with Adaptive, Attentive Compression) — метод онлайн-обучения с подкреплением (RL), который использует механизм самовнимания модели на длинной траектории рассуждения для выявления важных шагов и удаления избыточных. TRAAC также оценивает сложность задачи и учитывает её в процессе обучения через награды, тем самым обучаясь распределять ресурсы рассуждения в соответствии с уровнем сложности примера. Наш подход повышает точность, сокращает количество шагов рассуждения и обеспечивает адаптивное мышление по сравнению с базовыми моделями и другими методами RL. На различных задачах (AIME, AMC, GPQA-D, BBEH) TRAAC (Qwen3-4B) демонстрирует средний абсолютный прирост точности на 8,4% при относительном сокращении длины рассуждения на 36,8% по сравнению с базовой моделью, а также прирост точности на 7,9% при сокращении длины на 29,4% по сравнению с лучшим методом RL. TRAAC также показывает сильную способность к обобщению: хотя наши модели обучались на математических наборах данных, они демонстрируют улучшение точности и эффективности на наборах данных, выходящих за пределы распределения, таких как GPQA-D, BBEH и OptimalThinkingBench. Наш анализ дополнительно подтверждает, что TRAAC обеспечивает детальную настройку ресурсов мышления в зависимости от сложности задачи, а комбинация калибровки сложности задачи и сжатия на основе внимания приводит к улучшениям на разнообразных задачах.

English

Recent thinking models solve complex reasoning tasks by scaling test-time compute, but this scaling must be allocated in line with task difficulty. On one hand, short reasoning (underthinking) leads to errors on harder problems that require extended reasoning steps; but, excessively long reasoning (overthinking) can be token-inefficient, generating unnecessary steps even after reaching a correct intermediate solution. We refer to this as under-adaptivity, where the model fails to modulate its response length appropriately given problems of varying difficulty. To address under-adaptivity and strike a balance between under- and overthinking, we propose TRAAC (Think Right with Adaptive, Attentive Compression), an online post-training RL method that leverages the model's self-attention over a long reasoning trajectory to identify important steps and prune redundant ones. TRAAC also estimates difficulty and incorporates it into training rewards, thereby learning to allocate reasoning budget commensurate with example difficulty. Our approach improves accuracy, reduces reasoning steps, and enables adaptive thinking compared to base models and other RL baselines. Across a variety of tasks (AIME, AMC, GPQA-D, BBEH), TRAAC (Qwen3-4B) achieves an average absolute accuracy gain of 8.4% with a relative reduction in reasoning length of 36.8% compared to the base model, and a 7.9% accuracy gain paired with a 29.4% length drop compared to the best RL baseline. TRAAC also shows strong generalization: although our models are trained on math datasets, they show accuracy and efficiency gains on out-of-distribution non-math datasets like GPQA-D, BBEH, and OptimalThinkingBench. Our analysis further verifies that TRAAC provides fine-grained adjustments to thinking budget based on difficulty and that a combination of task-difficulty calibration and attention-based compression yields gains across diverse tasks.