Inversion de l'échelle dans le calcul au moment du test

Inverse Scaling in Test-Time Compute

July 19, 2025

papers.authors: Aryo Pradipta Gema, Alexander Hägele, Runjin Chen, Andy Arditi, Jacob Goldman-Wetzler, Kit Fraser-Taliente, Henry Sleight, Linda Petrini, Julian Michael, Beatrice Alex, Pasquale Minervini, Yanda Chen, Joe Benton, Ethan Perez

cs.AI

papers.abstract

Nous construisons des tâches d'évaluation dans lesquelles l'extension de la longueur de raisonnement des modèles de raisonnement à grande échelle (LRMs) détériore les performances, révélant une relation d'échelle inverse entre le calcul au moment du test et la précision. Nos tâches d'évaluation couvrent quatre catégories : des tâches de comptage simple avec distracteurs, des tâches de régression avec caractéristiques fallacieuses, des tâches de déduction avec suivi de contraintes, et des risques avancés liés à l'IA. Nous identifions cinq modes de défaillance distincts lorsque les modèles raisonnent plus longtemps : 1) les modèles Claude deviennent de plus en plus distraits par des informations non pertinentes ; 2) les modèles OpenAI o-series résistent aux distracteurs mais surajustent les cadrages des problèmes ; 3) les modèles passent de prémisses raisonnables à des corrélations fallacieuses ; 4) tous les modèles montrent des difficultés à maintenir leur concentration sur des tâches déductives complexes ; et 5) un raisonnement prolongé peut amplifier des comportements préoccupants, avec Claude Sonnet 4 montrant une augmentation des expressions d'autopréservation. Ces résultats suggèrent que, bien que l'augmentation du calcul au moment du test reste prometteuse pour améliorer les capacités des modèles, elle peut renforcer involontairement des schémas de raisonnement problématiques. Nos résultats démontrent l'importance d'évaluer les modèles sur des longueurs de raisonnement variées afin d'identifier et de corriger ces modes de défaillance dans les LRMs.

English

We construct evaluation tasks where extending the reasoning length of Large Reasoning Models (LRMs) deteriorates performance, exhibiting an inverse scaling relationship between test-time compute and accuracy. Our evaluation tasks span four categories: simple counting tasks with distractors, regression tasks with spurious features, deduction tasks with constraint tracking, and advanced AI risks. We identify five distinct failure modes when models reason for longer: 1) Claude models become increasingly distracted by irrelevant information; 2) OpenAI o-series models resist distractors but overfit to problem framings; 3) models shift from reasonable priors to spurious correlations; 4) all models show difficulties in maintaining focus on complex deductive tasks; and 5) extended reasoning may amplify concerning behaviors, with Claude Sonnet 4 showing increased expressions of self-preservation. These findings suggest that while test-time compute scaling remains promising for improving model capabilities, it may inadvertently reinforce problematic reasoning patterns. Our results demonstrate the importance of evaluating models across diverse reasoning lengths to identify and address these failure modes in LRMs.