Les grands modèles de raisonnement sont-ils interruptibles ?

papers.abstract

Les modèles de raisonnement à grande échelle (LRM) excellent dans le raisonnement complexe, mais sont traditionnellement évalués dans des contextes statiques, dits de "monde figé" : les réponses du modèle sont supposées être instantanées, et le contexte d'une requête est considéré comme immuable pendant la durée de la réponse. Bien que cette hypothèse soit généralement valable pour des tâches à court terme, elle s'effondre dans les tâches de raisonnement modernes, telles que la programmation assistée, où les modèles peuvent prendre des heures pour réfléchir à des problèmes et où le code peut changer radicalement entre le moment où le modèle commence à réfléchir et celui où il produit sa réponse finale. Dans ce travail, nous remettons en question l'hypothèse du monde figé et évaluons la robustesse des LRM dans deux scénarios dynamiques réalistes : les interruptions, qui testent la qualité des sorties partielles du modèle avec un budget limité, et le contexte dynamique, qui teste l'adaptation du modèle aux changements en cours. Sur des benchmarks de mathématiques et de programmation nécessitant un raisonnement long, les évaluations statiques surestiment systématiquement la robustesse : même les LRM les plus avancés, qui atteignent une grande précision dans des contextes statiques, peuvent échouer de manière imprévisible lorsqu'ils sont interrompus ou exposés à un contexte changeant, avec une baisse de performance allant jusqu'à 60 % lorsque des mises à jour sont introduites tardivement dans le processus de raisonnement. Notre analyse révèle en outre plusieurs nouveaux modes d'échec, notamment la fuite de raisonnement, où les modèles intègrent le raisonnement dans leur réponse finale lorsqu'ils sont interrompus ; la panique, où sous pression temporelle les modèles abandonnent complètement le raisonnement et renvoient des réponses incorrectes ; et le doute de soi, où la performance se dégrade lors de l'intégration d'informations mises à jour.

English

Large Reasoning Models (LRMs) excel at complex reasoning but are traditionally evaluated in static, "frozen world" settings: model responses are assumed to be instantaneous, and the context of a request is presumed to be immutable over the duration of the response. While generally true for short-term tasks, the "frozen world" assumption breaks down in modern reasoning tasks such as assistive programming, where models may take hours to think through problems and code may change dramatically from the time the model starts thinking to the model's final output. In this work, we challenge the frozen world assumption and evaluate LRM robustness under two realistic dynamic scenarios: interruptions, which test the quality of the model's partial outputs on a limited budget, and dynamic context, which tests model adaptation to in-flight changes. Across mathematics and programming benchmarks that require long-form reasoning, static evaluations consistently overestimate robustness: even state-of-the-art LRMs, which achieve high accuracy in static settings, can fail unpredictably when interrupted or exposed to changing context, with performance dropping by up to 60% when updates are introduced late in the reasoning process. Our analysis further reveals several novel failure modes, including reasoning leakage, where models fold the reasoning into their final answer when interrupted; panic, where under time pressure models abandon reasoning entirely and return incorrect answers; and self-doubt, where performance degrades while incorporating updated information.

Les grands modèles de raisonnement sont-ils interruptibles ?

Are Large Reasoning Models Interruptible?

papers.abstract

Support