Grandes Modelos de Raciocínio são Interrompíveis?

Resumo

Modelos de Raciocínio de Grande Escala (LRMs) se destacam em raciocínios complexos, mas são tradicionalmente avaliados em cenários estáticos, de "mundo congelado": as respostas do modelo são assumidas como instantâneas, e o contexto de uma solicitação é presumido como imutável durante a duração da resposta. Embora isso seja geralmente verdadeiro para tarefas de curto prazo, a suposição de "mundo congelado" se desfaz em tarefas modernas de raciocínio, como programação assistida, onde os modelos podem levar horas para refletir sobre problemas e o código pode mudar drasticamente desde o momento em que o modelo começa a pensar até a sua saída final. Neste trabalho, desafiamos a suposição de mundo congelado e avaliamos a robustez dos LRMs em dois cenários dinâmicos realistas: interrupções, que testam a qualidade das saídas parciais do modelo com um orçamento limitado, e contexto dinâmico, que testa a adaptação do modelo a mudanças durante a execução. Em benchmarks de matemática e programação que exigem raciocínio de longo prazo, as avaliações estáticas superestimam consistentemente a robustez: mesmo os LRMs de última geração, que alcançam alta precisão em cenários estáticos, podem falhar de forma imprevisível quando interrompidos ou expostos a mudanças de contexto, com o desempenho caindo até 60% quando atualizações são introduzidas tardiamente no processo de raciocínio. Nossa análise ainda revela vários novos modos de falha, incluindo vazamento de raciocínio, onde os modelos incorporam o raciocínio em sua resposta final quando interrompidos; pânico, onde, sob pressão de tempo, os modelos abandonam completamente o raciocínio e retornam respostas incorretas; e autodúvida, onde o desempenho se degrada ao incorporar informações atualizadas.

English

Large Reasoning Models (LRMs) excel at complex reasoning but are traditionally evaluated in static, "frozen world" settings: model responses are assumed to be instantaneous, and the context of a request is presumed to be immutable over the duration of the response. While generally true for short-term tasks, the "frozen world" assumption breaks down in modern reasoning tasks such as assistive programming, where models may take hours to think through problems and code may change dramatically from the time the model starts thinking to the model's final output. In this work, we challenge the frozen world assumption and evaluate LRM robustness under two realistic dynamic scenarios: interruptions, which test the quality of the model's partial outputs on a limited budget, and dynamic context, which tests model adaptation to in-flight changes. Across mathematics and programming benchmarks that require long-form reasoning, static evaluations consistently overestimate robustness: even state-of-the-art LRMs, which achieve high accuracy in static settings, can fail unpredictably when interrupted or exposed to changing context, with performance dropping by up to 60% when updates are introduced late in the reasoning process. Our analysis further reveals several novel failure modes, including reasoning leakage, where models fold the reasoning into their final answer when interrupted; panic, where under time pressure models abandon reasoning entirely and return incorrect answers; and self-doubt, where performance degrades while incorporating updated information.

Grandes Modelos de Raciocínio são Interrompíveis?

Are Large Reasoning Models Interruptible?

Resumo

Support