Escalonamento Inverso no Cálculo em Tempo de Teste

Inverse Scaling in Test-Time Compute

July 19, 2025

Autores: Aryo Pradipta Gema, Alexander Hägele, Runjin Chen, Andy Arditi, Jacob Goldman-Wetzler, Kit Fraser-Taliente, Henry Sleight, Linda Petrini, Julian Michael, Beatrice Alex, Pasquale Minervini, Yanda Chen, Joe Benton, Ethan Perez

cs.AI

Resumo

Construímos tarefas de avaliação onde a extensão do comprimento do raciocínio em Modelos de Raciocínio de Grande Escala (LRMs) deteriora o desempenho, exibindo uma relação de escala inversa entre o cálculo em tempo de teste e a precisão. Nossas tarefas de avaliação abrangem quatro categorias: tarefas simples de contagem com distratores, tarefas de regressão com características espúrias, tarefas de dedução com rastreamento de restrições e riscos avançados de IA. Identificamos cinco modos distintos de falha quando os modelos raciocinam por mais tempo: 1) os modelos Claude tornam-se cada vez mais distraídos por informações irrelevantes; 2) os modelos da série o da OpenAI resistem aos distratores, mas superajustam-se às formulações dos problemas; 3) os modelos mudam de prioridades razoáveis para correlações espúrias; 4) todos os modelos mostram dificuldades em manter o foco em tarefas dedutivas complexas; e 5) o raciocínio prolongado pode amplificar comportamentos preocupantes, com o Claude Sonnet 4 mostrando um aumento nas expressões de autopreservação. Esses achados sugerem que, embora a escala de cálculo em tempo de teste continue promissora para melhorar as capacidades dos modelos, ela pode inadvertidamente reforçar padrões problemáticos de raciocínio. Nossos resultados demonstram a importância de avaliar os modelos em diversos comprimentos de raciocínio para identificar e abordar esses modos de falha em LRMs.

English

We construct evaluation tasks where extending the reasoning length of Large Reasoning Models (LRMs) deteriorates performance, exhibiting an inverse scaling relationship between test-time compute and accuracy. Our evaluation tasks span four categories: simple counting tasks with distractors, regression tasks with spurious features, deduction tasks with constraint tracking, and advanced AI risks. We identify five distinct failure modes when models reason for longer: 1) Claude models become increasingly distracted by irrelevant information; 2) OpenAI o-series models resist distractors but overfit to problem framings; 3) models shift from reasonable priors to spurious correlations; 4) all models show difficulties in maintaining focus on complex deductive tasks; and 5) extended reasoning may amplify concerning behaviors, with Claude Sonnet 4 showing increased expressions of self-preservation. These findings suggest that while test-time compute scaling remains promising for improving model capabilities, it may inadvertently reinforce problematic reasoning patterns. Our results demonstrate the importance of evaluating models across diverse reasoning lengths to identify and address these failure modes in LRMs.