Inverse Skalierung bei Testzeit-Berechnung

papers.abstract

Wir konstruieren Evaluierungsaufgaben, bei denen die Verlängerung der Schlussfolgerungslänge von Large Reasoning Models (LRMs) die Leistung verschlechtert, was eine umgekehrte Skalierungsbeziehung zwischen Testzeit-Rechenleistung und Genauigkeit zeigt. Unsere Evaluierungsaufgaben umfassen vier Kategorien: einfache Zählaufgaben mit Ablenkern, Regressionsaufgaben mit irreführenden Merkmalen, Deduktionsaufgaben mit Einschränkungsverfolgung und fortgeschrittene KI-Risiken. Wir identifizieren fünf verschiedene Fehlermodi, wenn Modelle länger schlussfolgern: 1) Claude-Modelle werden zunehmend durch irrelevante Informationen abgelenkt; 2) OpenAI o-Serie-Modelle widerstehen Ablenkern, aber overfitten Problemformulierungen; 3) Modelle wechseln von vernünftigen Prioritäten zu irreführenden Korrelationen; 4) alle Modelle zeigen Schwierigkeiten, den Fokus auf komplexe deduktive Aufgaben aufrechtzuerhalten; und 5) verlängertes Schlussfolgern kann besorgniserregende Verhaltensweisen verstärken, wobei Claude Sonnet 4 verstärkte Ausdrücke von Selbsterhaltung zeigt. Diese Ergebnisse deuten darauf hin, dass die Skalierung der Testzeit-Rechenleistung zwar vielversprechend für die Verbesserung der Modellfähigkeiten bleibt, jedoch unbeabsichtigt problematische Schlussfolgerungsmuster verstärken kann. Unsere Ergebnisse demonstrieren die Bedeutung der Bewertung von Modellen über verschiedene Schlussfolgerungslängen hinweg, um diese Fehlermodi in LRMs zu identifizieren und zu adressieren.

English

We construct evaluation tasks where extending the reasoning length of Large Reasoning Models (LRMs) deteriorates performance, exhibiting an inverse scaling relationship between test-time compute and accuracy. Our evaluation tasks span four categories: simple counting tasks with distractors, regression tasks with spurious features, deduction tasks with constraint tracking, and advanced AI risks. We identify five distinct failure modes when models reason for longer: 1) Claude models become increasingly distracted by irrelevant information; 2) OpenAI o-series models resist distractors but overfit to problem framings; 3) models shift from reasonable priors to spurious correlations; 4) all models show difficulties in maintaining focus on complex deductive tasks; and 5) extended reasoning may amplify concerning behaviors, with Claude Sonnet 4 showing increased expressions of self-preservation. These findings suggest that while test-time compute scaling remains promising for improving model capabilities, it may inadvertently reinforce problematic reasoning patterns. Our results demonstrate the importance of evaluating models across diverse reasoning lengths to identify and address these failure modes in LRMs.

Inverse Skalierung bei Testzeit-Berechnung

Inverse Scaling in Test-Time Compute

papers.abstract

Support