I grandi modelli di ragionamento sono interrompibili?

Abstract

I Modelli di Ragionamento di Grande Scala (LRM) eccellono nel ragionamento complesso, ma sono tradizionalmente valutati in contesti statici, "mondi congelati": si assume che le risposte del modello siano istantanee e che il contesto di una richiesta rimanga immutato durante la generazione della risposta. Sebbene questa ipotesi sia generalmente valida per compiti a breve termine, l'assunzione del "mondo congelato" crolla nei moderni compiti di ragionamento, come la programmazione assistita, dove i modelli possono impiegare ore per elaborare problemi e il codice può cambiare drasticamente dal momento in cui il modello inizia a ragionare fino alla produzione dell'output finale. In questo lavoro, mettiamo in discussione l'assunzione del mondo congelato e valutiamo la robustezza degli LRM in due scenari dinamici realistici: le interruzioni, che testano la qualità degli output parziali del modello con un budget limitato, e il contesto dinamico, che verifica l'adattamento del modello a cambiamenti in corso. Attraverso benchmark di matematica e programmazione che richiedono ragionamenti estesi, le valutazioni statiche sovrastimano costantemente la robustezza: anche gli LRM all'avanguardia, che raggiungono un'elevata accuratezza in contesti statici, possono fallire in modo imprevedibile quando interrotti o esposti a contesti mutevoli, con un calo delle prestazioni fino al 60% quando gli aggiornamenti vengono introdotti in fasi avanzate del processo di ragionamento. La nostra analisi rivela inoltre diverse nuove modalità di fallimento, tra cui la "fuga del ragionamento", dove i modelli condensano il ragionamento nella risposta finale quando interrotti; il "panico", dove sotto pressione temporale i modelli abbandonano completamente il ragionamento e restituiscono risposte errate; e l'"autodubbio", dove le prestazioni si degradano mentre si incorporano informazioni aggiornate.

English

Large Reasoning Models (LRMs) excel at complex reasoning but are traditionally evaluated in static, "frozen world" settings: model responses are assumed to be instantaneous, and the context of a request is presumed to be immutable over the duration of the response. While generally true for short-term tasks, the "frozen world" assumption breaks down in modern reasoning tasks such as assistive programming, where models may take hours to think through problems and code may change dramatically from the time the model starts thinking to the model's final output. In this work, we challenge the frozen world assumption and evaluate LRM robustness under two realistic dynamic scenarios: interruptions, which test the quality of the model's partial outputs on a limited budget, and dynamic context, which tests model adaptation to in-flight changes. Across mathematics and programming benchmarks that require long-form reasoning, static evaluations consistently overestimate robustness: even state-of-the-art LRMs, which achieve high accuracy in static settings, can fail unpredictably when interrupted or exposed to changing context, with performance dropping by up to 60% when updates are introduced late in the reasoning process. Our analysis further reveals several novel failure modes, including reasoning leakage, where models fold the reasoning into their final answer when interrupted; panic, where under time pressure models abandon reasoning entirely and return incorrect answers; and self-doubt, where performance degrades while incorporating updated information.

I grandi modelli di ragionamento sono interrompibili?

Are Large Reasoning Models Interruptible?

Abstract

Support