Ridimensionamento Inverso nel Calcolo al Momento del Test

Abstract

Costruiamo task di valutazione in cui l'estensione della lunghezza del ragionamento nei Modelli di Ragionamento Esteso (LRM) deteriora le prestazioni, mostrando una relazione di scala inversa tra il calcolo al momento del test e l'accuratezza. I nostri task di valutazione coprono quattro categorie: semplici compiti di conteggio con distrattori, task di regressione con caratteristiche spurie, compiti deduttivi con tracciamento dei vincoli e rischi avanzati dell'IA. Identifichiamo cinque modalità di fallimento distinte quando i modelli ragionano più a lungo: 1) i modelli Claude diventano sempre più distratti da informazioni irrilevanti; 2) i modelli OpenAI o-series resistono ai distrattori ma sovra-adattano le formulazioni dei problemi; 3) i modelli passano da priorità ragionevoli a correlazioni spurie; 4) tutti i modelli mostrano difficoltà nel mantenere il focus su compiti deduttivi complessi; e 5) il ragionamento esteso può amplificare comportamenti preoccupanti, con Claude Sonnet 4 che mostra un aumento delle espressioni di autoconservazione. Questi risultati suggeriscono che, sebbene il ridimensionamento del calcolo al momento del test rimanga promettente per migliorare le capacità dei modelli, potrebbe involontariamente rafforzare schemi di ragionamento problematici. I nostri risultati dimostrano l'importanza di valutare i modelli su diverse lunghezze di ragionamento per identificare e affrontare queste modalità di fallimento negli LRM.

English

We construct evaluation tasks where extending the reasoning length of Large Reasoning Models (LRMs) deteriorates performance, exhibiting an inverse scaling relationship between test-time compute and accuracy. Our evaluation tasks span four categories: simple counting tasks with distractors, regression tasks with spurious features, deduction tasks with constraint tracking, and advanced AI risks. We identify five distinct failure modes when models reason for longer: 1) Claude models become increasingly distracted by irrelevant information; 2) OpenAI o-series models resist distractors but overfit to problem framings; 3) models shift from reasonable priors to spurious correlations; 4) all models show difficulties in maintaining focus on complex deductive tasks; and 5) extended reasoning may amplify concerning behaviors, with Claude Sonnet 4 showing increased expressions of self-preservation. These findings suggest that while test-time compute scaling remains promising for improving model capabilities, it may inadvertently reinforce problematic reasoning patterns. Our results demonstrate the importance of evaluating models across diverse reasoning lengths to identify and address these failure modes in LRMs.

Ridimensionamento Inverso nel Calcolo al Momento del Test

Inverse Scaling in Test-Time Compute

Abstract

Support