Являются ли крупные модели рассуждений прерываемыми?

Аннотация

Крупные модели рассуждений (Large Reasoning Models, LRMs) демонстрируют высокие результаты в сложных задачах рассуждения, но традиционно оцениваются в статических условиях "замороженного мира": предполагается, что ответы модели формируются мгновенно, а контекст запроса остается неизменным на протяжении всего времени генерации ответа. Хотя это предположение в целом справедливо для краткосрочных задач, оно перестает работать в современных задачах рассуждения, таких как ассистирующее программирование, где модели могут тратить часы на обдумывание проблемы, а код может значительно измениться с момента начала рассуждений до финального вывода модели. В данной работе мы подвергаем сомнению предположение о "замороженном мире" и оцениваем устойчивость LRM в двух реалистичных динамических сценариях: прерываниях, которые проверяют качество частичных выводов модели при ограниченных ресурсах, и динамическом контексте, который тестирует способность модели адаптироваться к изменениям в процессе работы. На тестах по математике и программированию, требующих длительных рассуждений, статические оценки систематически переоценивают устойчивость: даже передовые LRM, демонстрирующие высокую точность в статических условиях, могут непредсказуемо ошибаться при прерываниях или изменении контекста, при этом производительность может снижаться до 60%, если обновления вносятся на поздних этапах рассуждения. Наш анализ также выявляет несколько новых типов ошибок, включая утечку рассуждений, когда модели сворачивают процесс рассуждения в финальный ответ при прерывании; панику, когда под давлением времени модели полностью отказываются от рассуждений и возвращают неверные ответы; и неуверенность в себе, когда производительность ухудшается при попытке учесть обновленную информацию.

English

Large Reasoning Models (LRMs) excel at complex reasoning but are traditionally evaluated in static, "frozen world" settings: model responses are assumed to be instantaneous, and the context of a request is presumed to be immutable over the duration of the response. While generally true for short-term tasks, the "frozen world" assumption breaks down in modern reasoning tasks such as assistive programming, where models may take hours to think through problems and code may change dramatically from the time the model starts thinking to the model's final output. In this work, we challenge the frozen world assumption and evaluate LRM robustness under two realistic dynamic scenarios: interruptions, which test the quality of the model's partial outputs on a limited budget, and dynamic context, which tests model adaptation to in-flight changes. Across mathematics and programming benchmarks that require long-form reasoning, static evaluations consistently overestimate robustness: even state-of-the-art LRMs, which achieve high accuracy in static settings, can fail unpredictably when interrupted or exposed to changing context, with performance dropping by up to 60% when updates are introduced late in the reasoning process. Our analysis further reveals several novel failure modes, including reasoning leakage, where models fold the reasoning into their final answer when interrupted; panic, where under time pressure models abandon reasoning entirely and return incorrect answers; and self-doubt, where performance degrades while incorporating updated information.

Являются ли крупные модели рассуждений прерываемыми?

Are Large Reasoning Models Interruptible?

Аннотация

Support