Sind große Reasoning-Modelle unterbrechbar?

papers.abstract

Große Reasoning-Modelle (LRMs) zeichnen sich durch komplexes logisches Denken aus, werden jedoch traditionell in statischen, „eingefrorenen Welt“-Szenarien evaluiert: Die Antworten des Modells werden als unmittelbar angenommen, und der Kontext einer Anfrage wird als unveränderlich während der Dauer der Antwort vorausgesetzt. Obwohl dies im Allgemeinen für kurzfristige Aufgaben zutrifft, bricht die Annahme der „eingefrorenen Welt“ bei modernen Reasoning-Aufgaben wie assistiver Programmierung zusammen, bei denen Modelle Stunden benötigen können, um Probleme durchzudenken, und sich der Code dramatisch ändern kann, von dem Zeitpunkt, an dem das Modell zu denken beginnt, bis zu seiner endgültigen Ausgabe. In dieser Arbeit stellen wir die Annahme der eingefrorenen Welt in Frage und evaluieren die Robustheit von LRMs unter zwei realistischen dynamischen Szenarien: Unterbrechungen, die die Qualität der partiellen Ausgaben des Modells bei begrenztem Budget testen, und dynamischer Kontext, der die Anpassungsfähigkeit des Modells an Änderungen während des Prozesses prüft. Über Mathematik- und Programmier-Benchmarks, die langfristiges logisches Denken erfordern, überschätzen statische Evaluierungen durchweg die Robustheit: Selbst state-of-the-art LRMs, die in statischen Szenarien hohe Genauigkeit erreichen, können bei Unterbrechungen oder sich änderndem Kontext unvorhersehbar versagen, wobei die Leistung um bis zu 60 % sinkt, wenn Aktualisierungen spät im Denkprozess eingeführt werden. Unsere Analyse deckt zudem mehrere neuartige Fehlermodi auf, darunter Reasoning-Leakage, bei dem Modelle das logische Denken in ihre endgültige Antwort integrieren, wenn sie unterbrochen werden; Panik, bei der Modelle unter Zeitdruck das logische Denken vollständig aufgeben und falsche Antworten liefern; und Selbstzweifel, bei dem die Leistung abnimmt, während aktualisierte Informationen integriert werden.

English

Large Reasoning Models (LRMs) excel at complex reasoning but are traditionally evaluated in static, "frozen world" settings: model responses are assumed to be instantaneous, and the context of a request is presumed to be immutable over the duration of the response. While generally true for short-term tasks, the "frozen world" assumption breaks down in modern reasoning tasks such as assistive programming, where models may take hours to think through problems and code may change dramatically from the time the model starts thinking to the model's final output. In this work, we challenge the frozen world assumption and evaluate LRM robustness under two realistic dynamic scenarios: interruptions, which test the quality of the model's partial outputs on a limited budget, and dynamic context, which tests model adaptation to in-flight changes. Across mathematics and programming benchmarks that require long-form reasoning, static evaluations consistently overestimate robustness: even state-of-the-art LRMs, which achieve high accuracy in static settings, can fail unpredictably when interrupted or exposed to changing context, with performance dropping by up to 60% when updates are introduced late in the reasoning process. Our analysis further reveals several novel failure modes, including reasoning leakage, where models fold the reasoning into their final answer when interrupted; panic, where under time pressure models abandon reasoning entirely and return incorrect answers; and self-doubt, where performance degrades while incorporating updated information.

Sind große Reasoning-Modelle unterbrechbar?

Are Large Reasoning Models Interruptible?

papers.abstract

Support