REST: Test di Stress per Modelli di Ragionamento su Grande Scala Ponendo Più Problemi Contemporaneamente

REST: Stress Testing Large Reasoning Models by Asking Multiple Problems at Once

July 14, 2025

Autori: Zhuoshi Pan, Qizhi Pei, Yu Li, Qiyao Sun, Zinan Tang, H. Vicky Zhao, Conghui He, Lijun Wu

cs.AI

Abstract

I recenti Large Reasoning Models (LRM) hanno ottenuto progressi significativi nei benchmark specifici per task, tuttavia i loro metodi di valutazione rimangono limitati da paradigmi di problem-solving isolati. I benchmark esistenti valutano principalmente il ragionamento su singole domande attraverso test sequenziali, risultando in limitazioni critiche: (1) vulnerabilità alla contaminazione dei dati e a sfide meno impegnative (ad esempio, DeepSeek-R1 raggiunge il 97,0% su MATH500), costringendo alla creazione costosa e perpetua di nuove domande con un grande sforzo umano, (2) incapacità di valutare i modelli sotto pressione multi-contesto, un requisito chiave per il dispiegamento nel mondo reale. Per colmare questa lacuna, presentiamo REST (Reasoning Evaluation through Simultaneous Testing), un framework di stress-test che espone contemporaneamente gli LRM a più problemi. Oltre al ragionamento di base, REST valuta specificamente diverse capacità poco testate: allocazione prioritaria contestuale, resistenza alle interferenze tra problemi e gestione dinamica del carico cognitivo. La nostra valutazione rivela diversi risultati sorprendenti: anche modelli all'avanguardia (SOTA) come DeepSeek-R1 mostrano un sostanziale degrado delle prestazioni sotto stress testing. Crucialmente, REST dimostra un potere discriminativo più forte rispetto ai benchmark esistenti, rivelando differenze marcate nelle prestazioni tra modelli che mostrano prestazioni simili e quasi al massimo sotto valutazioni a singola domanda. Alcune intuizioni meccanicistiche chiave emergono dalla nostra analisi: (1) la "trappola del sovrapensiero" è un fattore critico che contribuisce al degrado delle prestazioni; (2) i modelli addestrati con la tecnica "long2short" mantengono una maggiore accuratezza delle loro prestazioni a singolo problema sotto REST, superando le controparti addestrate in modo standard. Questi risultati stabiliscono REST come un paradigma di valutazione efficiente e futuro-resistente che riflette meglio le esigenze di ragionamento del mondo reale, riducendo al contempo la dipendenza dall'annotazione umana continua.

English

Recent Large Reasoning Models (LRMs) have achieved remarkable progress on task-specific benchmarks, yet their evaluation methods remain constrained by isolated problem-solving paradigms. Existing benchmarks predominantly assess single-question reasoning through sequential testing, resulting critical limitations: (1) vulnerability to data contamination and less challenging (e.g., DeepSeek-R1 achieves 97.0% on MATH500), forcing costly and perpetual creation of new questions with large human efforts, (2) failure to evaluate models under multi-context pressure, a key requirement for real-world deployment. To bridge this gap, we present REST (Reasoning Evaluation through Simultaneous Testing), a stress-testing framework that concurrently exposes LRMs to multiple problems simultaneously. Beyond basic reasoning, REST specifically evaluates several under-tested capabilities: contextual priority allocation, cross-problem interference resistance, and dynamic cognitive load management. Our evaluation reveals several striking findings: Even state-of-the-art (SOTA) models like DeepSeek-R1 exhibit substantial performance degradation under stress testing. Crucially, REST demonstrates stronger discriminative power than existing benchmarks, revealing pronounced performance differences among models that exhibit similar, near-ceiling performance under single-question evaluations. Some key mechanistic insights emerge from our analysis: (1) the "overthinking trap" is a critical factor contributing to the performance degradation; (2) the models trained with "long2short" technique preserve more accuracy of their single-problem performance under REST, outperforming standard-trained counterparts. These results establish REST as a cost-efficient, future-proof evaluation paradigm that better reflects real-world reasoning demands while reducing reliance on continuous human annotation.