Penser Juste : Apprendre à Atténuer la Sous-Sur Pensée par une Compression Adaptative et Attentive

papers.abstract

Les modèles de pensée récents résolvent des tâches de raisonnement complexes en augmentant les ressources de calcul au moment du test, mais cette augmentation doit être allouée en fonction de la difficulté de la tâche. D’un côté, un raisonnement trop court (sous-raisonnement) entraîne des erreurs sur des problèmes plus difficiles nécessitant des étapes de raisonnement prolongées ; de l’autre, un raisonnement excessivement long (sur-raisonnement) peut être inefficace en termes de tokens, générant des étapes inutiles même après avoir atteint une solution intermédiaire correcte. Nous qualifions cela de sous-adaptativité, où le modèle ne parvient pas à moduler de manière appropriée la longueur de sa réponse face à des problèmes de difficulté variable. Pour remédier à la sous-adaptativité et trouver un équilibre entre sous-raisonnement et sur-raisonnement, nous proposons TRAAC (Think Right with Adaptive, Attentive Compression), une méthode de renforcement en ligne post-entraînement qui exploite l’auto-attention du modèle sur une trajectoire de raisonnement étendue pour identifier les étapes importantes et éliminer celles redondantes. TRAAC estime également la difficulté et l’intègre dans les récompenses d’entraînement, apprenant ainsi à allouer un budget de raisonnement proportionnel à la difficulté de l’exemple. Notre approche améliore la précision, réduit les étapes de raisonnement et permet une pensée adaptative par rapport aux modèles de base et à d’autres méthodes de renforcement. Sur une variété de tâches (AIME, AMC, GPQA-D, BBEH), TRAAC (Qwen3-4B) obtient un gain de précision absolu moyen de 8,4 % avec une réduction relative de la longueur du raisonnement de 36,8 % par rapport au modèle de base, et un gain de précision de 7,9 % accompagné d’une réduction de longueur de 29,4 % par rapport au meilleur modèle de renforcement. TRAAC montre également une forte généralisation : bien que nos modèles soient entraînés sur des ensembles de données mathématiques, ils montrent des gains en précision et en efficacité sur des ensembles de données non mathématiques hors distribution comme GPQA-D, BBEH et OptimalThinkingBench. Notre analyse confirme en outre que TRAAC fournit des ajustements fins du budget de raisonnement en fonction de la difficulté, et qu’une combinaison de calibration de la difficulté de la tâche et de compression basée sur l’attention produit des gains sur des tâches diverses.

English

Recent thinking models solve complex reasoning tasks by scaling test-time compute, but this scaling must be allocated in line with task difficulty. On one hand, short reasoning (underthinking) leads to errors on harder problems that require extended reasoning steps; but, excessively long reasoning (overthinking) can be token-inefficient, generating unnecessary steps even after reaching a correct intermediate solution. We refer to this as under-adaptivity, where the model fails to modulate its response length appropriately given problems of varying difficulty. To address under-adaptivity and strike a balance between under- and overthinking, we propose TRAAC (Think Right with Adaptive, Attentive Compression), an online post-training RL method that leverages the model's self-attention over a long reasoning trajectory to identify important steps and prune redundant ones. TRAAC also estimates difficulty and incorporates it into training rewards, thereby learning to allocate reasoning budget commensurate with example difficulty. Our approach improves accuracy, reduces reasoning steps, and enables adaptive thinking compared to base models and other RL baselines. Across a variety of tasks (AIME, AMC, GPQA-D, BBEH), TRAAC (Qwen3-4B) achieves an average absolute accuracy gain of 8.4% with a relative reduction in reasoning length of 36.8% compared to the base model, and a 7.9% accuracy gain paired with a 29.4% length drop compared to the best RL baseline. TRAAC also shows strong generalization: although our models are trained on math datasets, they show accuracy and efficiency gains on out-of-distribution non-math datasets like GPQA-D, BBEH, and OptimalThinkingBench. Our analysis further verifies that TRAAC provides fine-grained adjustments to thinking budget based on difficulty and that a combination of task-difficulty calibration and attention-based compression yields gains across diverse tasks.

Penser Juste : Apprendre à Atténuer la Sous-Sur Pensée par une Compression Adaptative et Attentive

Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression

papers.abstract

Support