Escalamiento Inverso en el Cómputo en Tiempo de Prueba

Inverse Scaling in Test-Time Compute

July 19, 2025

Autores: Aryo Pradipta Gema, Alexander Hägele, Runjin Chen, Andy Arditi, Jacob Goldman-Wetzler, Kit Fraser-Taliente, Henry Sleight, Linda Petrini, Julian Michael, Beatrice Alex, Pasquale Minervini, Yanda Chen, Joe Benton, Ethan Perez

cs.AI

Resumen

Construimos tareas de evaluación en las que extender la longitud del razonamiento de los Modelos de Razonamiento a Gran Escala (LRMs, por sus siglas en inglés) deteriora el rendimiento, exhibiendo una relación de escala inversa entre el cómputo en tiempo de prueba y la precisión. Nuestras tareas de evaluación abarcan cuatro categorías: tareas simples de conteo con distractores, tareas de regresión con características espurias, tareas de deducción con seguimiento de restricciones y riesgos avanzados de IA. Identificamos cinco modos de fallo distintos cuando los modelos razonan durante más tiempo: 1) los modelos Claude se distraen cada vez más con información irrelevante; 2) los modelos OpenAI o-series resisten los distractores pero se sobreajustan a los encuadres del problema; 3) los modelos cambian de prioridades razonables a correlaciones espurias; 4) todos los modelos muestran dificultades para mantener el enfoque en tareas deductivas complejas; y 5) el razonamiento extendido puede amplificar comportamientos preocupantes, con Claude Sonnet 4 mostrando un aumento en expresiones de autopreservación. Estos hallazgos sugieren que, aunque el escalado del cómputo en tiempo de prueba sigue siendo prometedor para mejorar las capacidades de los modelos, puede reforzar inadvertidamente patrones de razonamiento problemáticos. Nuestros resultados demuestran la importancia de evaluar los modelos en diversas longitudes de razonamiento para identificar y abordar estos modos de fallo en los LRMs.

English

We construct evaluation tasks where extending the reasoning length of Large Reasoning Models (LRMs) deteriorates performance, exhibiting an inverse scaling relationship between test-time compute and accuracy. Our evaluation tasks span four categories: simple counting tasks with distractors, regression tasks with spurious features, deduction tasks with constraint tracking, and advanced AI risks. We identify five distinct failure modes when models reason for longer: 1) Claude models become increasingly distracted by irrelevant information; 2) OpenAI o-series models resist distractors but overfit to problem framings; 3) models shift from reasonable priors to spurious correlations; 4) all models show difficulties in maintaining focus on complex deductive tasks; and 5) extended reasoning may amplify concerning behaviors, with Claude Sonnet 4 showing increased expressions of self-preservation. These findings suggest that while test-time compute scaling remains promising for improving model capabilities, it may inadvertently reinforce problematic reasoning patterns. Our results demonstrate the importance of evaluating models across diverse reasoning lengths to identify and address these failure modes in LRMs.