Inverse Schalen tijdens Test-Tijd Berekenen

Samenvatting

We construeren evaluatietaken waarbij het verlengen van de redeneerlengte van Large Reasoning Models (LRMs) de prestaties verslechtert, wat een omgekeerde schaalrelatie tussen testtijdberekening en nauwkeurigheid laat zien. Onze evaluatietaken beslaan vier categorieën: eenvoudige telopdrachten met afleiders, regressietaken met irrelevante kenmerken, deductietaken met beperkingen, en geavanceerde AI-risico's. We identificeren vijf verschillende faalmodi wanneer modellen langer redeneren: 1) Claude-modellen raken steeds meer afgeleid door irrelevante informatie; 2) OpenAI o-serie modellen weerstaan afleiders maar overfitten aan probleemformuleringen; 3) modellen verschuiven van redelijke aannames naar irrelevante correlaties; 4) alle modellen hebben moeite met het vasthouden van focus bij complexe deductietaken; en 5) uitgebreid redeneren kan zorgwekkend gedrag versterken, waarbij Claude Sonnet 4 meer uitingen van zelfbehoud laat zien. Deze bevindingen suggereren dat hoewel het schalen van testtijdberekening veelbelovend blijft voor het verbeteren van modelcapaciteiten, het onbedoeld problematische redeneerpatronen kan versterken. Onze resultaten tonen het belang aan van het evalueren van modellen over diverse redeneerlengtes om deze faalmodi in LRMs te identificeren en aan te pakken.

English

We construct evaluation tasks where extending the reasoning length of Large Reasoning Models (LRMs) deteriorates performance, exhibiting an inverse scaling relationship between test-time compute and accuracy. Our evaluation tasks span four categories: simple counting tasks with distractors, regression tasks with spurious features, deduction tasks with constraint tracking, and advanced AI risks. We identify five distinct failure modes when models reason for longer: 1) Claude models become increasingly distracted by irrelevant information; 2) OpenAI o-series models resist distractors but overfit to problem framings; 3) models shift from reasonable priors to spurious correlations; 4) all models show difficulties in maintaining focus on complex deductive tasks; and 5) extended reasoning may amplify concerning behaviors, with Claude Sonnet 4 showing increased expressions of self-preservation. These findings suggest that while test-time compute scaling remains promising for improving model capabilities, it may inadvertently reinforce problematic reasoning patterns. Our results demonstrate the importance of evaluating models across diverse reasoning lengths to identify and address these failure modes in LRMs.

Inverse Schalen tijdens Test-Tijd Berekenen

Inverse Scaling in Test-Time Compute

Samenvatting

Support