REST: Teste de Estresse em Grandes Modelos de Raciocínio ao Fazer Várias Perguntas Simultaneamente

REST: Stress Testing Large Reasoning Models by Asking Multiple Problems at Once

July 14, 2025

Autores: Zhuoshi Pan, Qizhi Pei, Yu Li, Qiyao Sun, Zinan Tang, H. Vicky Zhao, Conghui He, Lijun Wu

cs.AI

Resumo

Modelos Recentes de Raciocínio em Grande Escala (LRMs, na sigla em inglês) têm alcançado progressos notáveis em benchmarks específicos para tarefas, mas seus métodos de avaliação permanecem limitados por paradigmas isolados de resolução de problemas. Os benchmarks existentes avaliam predominantemente o raciocínio de questões únicas por meio de testes sequenciais, resultando em limitações críticas: (1) vulnerabilidade à contaminação de dados e desafios menos exigentes (por exemplo, o DeepSeek-R1 alcança 97,0% no MATH500), forçando a criação custosa e contínua de novas questões com grande esforço humano, (2) falha em avaliar modelos sob pressão de múltiplos contextos, um requisito essencial para implantação no mundo real. Para preencher essa lacuna, apresentamos o REST (Avaliação de Raciocínio por Testes Simultâneos), uma estrutura de teste de estresse que expõe os LRMs a múltiplos problemas simultaneamente. Além do raciocínio básico, o REST avalia especificamente várias capacidades pouco testadas: alocação de prioridade contextual, resistência à interferência entre problemas e gerenciamento dinâmico de carga cognitiva. Nossa avaliação revela várias descobertas impactantes: até modelos de última geração (SOTA), como o DeepSeek-R1, exibem degradação substancial de desempenho sob testes de estresse. Crucialmente, o REST demonstra maior poder discriminativo do que os benchmarks existentes, revelando diferenças pronunciadas de desempenho entre modelos que exibem desempenho semelhante e próximo ao máximo em avaliações de questões únicas. Algumas percepções mecanísticas importantes emergem de nossa análise: (1) a "armadilha do excesso de pensamento" é um fator crítico que contribui para a degradação do desempenho; (2) os modelos treinados com a técnica "long2short" preservam mais precisão em seu desempenho de problema único sob o REST, superando os modelos treinados de forma padrão. Esses resultados estabelecem o REST como um paradigma de avaliação eficiente em custos e preparado para o futuro, que reflete melhor as demandas de raciocínio do mundo real enquanto reduz a dependência de anotações humanas contínuas.

English

Recent Large Reasoning Models (LRMs) have achieved remarkable progress on task-specific benchmarks, yet their evaluation methods remain constrained by isolated problem-solving paradigms. Existing benchmarks predominantly assess single-question reasoning through sequential testing, resulting critical limitations: (1) vulnerability to data contamination and less challenging (e.g., DeepSeek-R1 achieves 97.0% on MATH500), forcing costly and perpetual creation of new questions with large human efforts, (2) failure to evaluate models under multi-context pressure, a key requirement for real-world deployment. To bridge this gap, we present REST (Reasoning Evaluation through Simultaneous Testing), a stress-testing framework that concurrently exposes LRMs to multiple problems simultaneously. Beyond basic reasoning, REST specifically evaluates several under-tested capabilities: contextual priority allocation, cross-problem interference resistance, and dynamic cognitive load management. Our evaluation reveals several striking findings: Even state-of-the-art (SOTA) models like DeepSeek-R1 exhibit substantial performance degradation under stress testing. Crucially, REST demonstrates stronger discriminative power than existing benchmarks, revealing pronounced performance differences among models that exhibit similar, near-ceiling performance under single-question evaluations. Some key mechanistic insights emerge from our analysis: (1) the "overthinking trap" is a critical factor contributing to the performance degradation; (2) the models trained with "long2short" technique preserve more accuracy of their single-problem performance under REST, outperforming standard-trained counterparts. These results establish REST as a cost-efficient, future-proof evaluation paradigm that better reflects real-world reasoning demands while reducing reliance on continuous human annotation.