Zijn grote redeneermodellen onderbreekbaar?

Samenvatting

Large Reasoning Models (LRMs) blinken uit in complex redeneren, maar worden traditioneel geëvalueerd in statische, "bevroren wereld"-omgevingen: modelresponses worden verondersteld direct te zijn, en de context van een verzoek wordt geacht onveranderlijk te blijven gedurende de duur van de response. Hoewel dit over het algemeen geldt voor kortetermijntaken, valt de "bevroren wereld"-aanname uiteen in moderne redeneertaken zoals ondersteunend programmeren, waarbij modellen uren kunnen nemen om problemen te overdenken en code drastisch kan veranderen tussen het moment waarop het model begint na te denken en het uiteindelijke output van het model. In dit werk dagen we de bevroren wereld-aanname uit en evalueren we de robuustheid van LRMs onder twee realistische dynamische scenario's: onderbrekingen, die de kwaliteit van de gedeeltelijke outputs van het model testen met een beperkt budget, en dynamische context, die de aanpassing van het model test aan veranderingen tijdens het proces. Over wiskundige en programmeerbenchmarks die langdurig redeneren vereisen, overschatten statische evaluaties consistent de robuustheid: zelfs state-of-the-art LRMs, die hoge nauwkeurigheid behalen in statische omgevingen, kunnen onvoorspelbaar falen wanneer ze worden onderbroken of blootgesteld aan veranderende context, met prestaties die tot wel 60% dalen wanneer updates laat in het redeneerproces worden geïntroduceerd. Onze analyse onthult verder verschillende nieuwe faalmodi, waaronder redeneerlekkage, waarbij modellen het redeneren in hun eindantwoord opnemen wanneer ze worden onderbroken; paniek, waarbij modellen onder tijdsdruk het redeneren volledig opgeven en incorrecte antwoorden teruggeven; en zelf twijfel, waarbij de prestaties verslechteren bij het incorporeren van bijgewerkte informatie.

English

Large Reasoning Models (LRMs) excel at complex reasoning but are traditionally evaluated in static, "frozen world" settings: model responses are assumed to be instantaneous, and the context of a request is presumed to be immutable over the duration of the response. While generally true for short-term tasks, the "frozen world" assumption breaks down in modern reasoning tasks such as assistive programming, where models may take hours to think through problems and code may change dramatically from the time the model starts thinking to the model's final output. In this work, we challenge the frozen world assumption and evaluate LRM robustness under two realistic dynamic scenarios: interruptions, which test the quality of the model's partial outputs on a limited budget, and dynamic context, which tests model adaptation to in-flight changes. Across mathematics and programming benchmarks that require long-form reasoning, static evaluations consistently overestimate robustness: even state-of-the-art LRMs, which achieve high accuracy in static settings, can fail unpredictably when interrupted or exposed to changing context, with performance dropping by up to 60% when updates are introduced late in the reasoning process. Our analysis further reveals several novel failure modes, including reasoning leakage, where models fold the reasoning into their final answer when interrupted; panic, where under time pressure models abandon reasoning entirely and return incorrect answers; and self-doubt, where performance degrades while incorporating updated information.

Zijn grote redeneermodellen onderbreekbaar?

Are Large Reasoning Models Interruptible?

Samenvatting

Support