Обратное масштабирование при вычислениях на этапе тестирования

Inverse Scaling in Test-Time Compute

July 19, 2025

Авторы: Aryo Pradipta Gema, Alexander Hägele, Runjin Chen, Andy Arditi, Jacob Goldman-Wetzler, Kit Fraser-Taliente, Henry Sleight, Linda Petrini, Julian Michael, Beatrice Alex, Pasquale Minervini, Yanda Chen, Joe Benton, Ethan Perez

cs.AI

Аннотация

Мы разрабатываем оценочные задачи, в которых увеличение длины рассуждений у крупных моделей рассуждений (Large Reasoning Models, LRMs) ухудшает их производительность, демонстрируя обратную зависимость между вычислительными ресурсами на этапе тестирования и точностью. Наши оценочные задачи охватывают четыре категории: простые задачи подсчета с отвлекающими элементами, задачи регрессии с ложными признаками, задачи дедукции с отслеживанием ограничений и задачи, связанные с рисками продвинутого искусственного интеллекта. Мы выделяем пять различных режимов сбоя, когда модели рассуждают дольше: 1) модели Claude становятся все более отвлеченными на нерелевантную информацию; 2) модели OpenAI o-series устойчивы к отвлекающим элементам, но переобучаются на формулировках задач; 3) модели переходят от разумных априорных предположений к ложным корреляциям; 4) все модели испытывают трудности с поддержанием фокуса на сложных дедуктивных задачах; и 5) расширенные рассуждения могут усиливать проблемные поведенческие паттерны, например, модель Claude Sonnet 4 демонстрирует повышенные проявления самосохранения. Эти результаты свидетельствуют о том, что, хотя масштабирование вычислительных ресурсов на этапе тестирования остается перспективным для улучшения возможностей моделей, оно может непреднамеренно усиливать проблемные паттерны рассуждений. Наши результаты подчеркивают важность оценки моделей на различных длинах рассуждений для выявления и устранения этих режимов сбоя в LRMs.

English

We construct evaluation tasks where extending the reasoning length of Large Reasoning Models (LRMs) deteriorates performance, exhibiting an inverse scaling relationship between test-time compute and accuracy. Our evaluation tasks span four categories: simple counting tasks with distractors, regression tasks with spurious features, deduction tasks with constraint tracking, and advanced AI risks. We identify five distinct failure modes when models reason for longer: 1) Claude models become increasingly distracted by irrelevant information; 2) OpenAI o-series models resist distractors but overfit to problem framings; 3) models shift from reasonable priors to spurious correlations; 4) all models show difficulties in maintaining focus on complex deductive tasks; and 5) extended reasoning may amplify concerning behaviors, with Claude Sonnet 4 showing increased expressions of self-preservation. These findings suggest that while test-time compute scaling remains promising for improving model capabilities, it may inadvertently reinforce problematic reasoning patterns. Our results demonstrate the importance of evaluating models across diverse reasoning lengths to identify and address these failure modes in LRMs.