S1-Bench: Een Eenvoudige Benchmark voor het Evalueren van Systeem 1 Denkvermogen bij Grote Redeneermodellen

S1-Bench: A Simple Benchmark for Evaluating System 1 Thinking Capability of Large Reasoning Models

April 14, 2025

Auteurs: Wenyuan Zhang, Shuaiyi Nie, Xinghua Zhang, Zefeng Zhang, Tingwen Liu

cs.AI

Samenvatting

We introduceren S1-Bench, een nieuwe benchmark ontworpen om de prestaties van Large Reasoning Models (LRMs) te evalueren op eenvoudige taken die intuïtief systeem 1-denken bevorderen in plaats van deliberatief systeem 2-redeneren. Hoewel LRMs significante doorbraken hebben bereikt in complexe redeneertaken door expliciete gedachteketens, kan hun afhankelijkheid van diep analytisch denken hun systeem 1-denken beperken. Bovendien ontbreekt momenteel een benchmark om de prestaties van LRMs te evalueren in taken die dergelijke vaardigheden vereisen. Om deze leemte op te vullen, presenteert S1-Bench een reeks eenvoudige, diverse en van nature heldere vragen over meerdere domeinen en talen, specifiek ontworpen om de prestaties van LRMs in dergelijke taken te beoordelen. Onze uitgebreide evaluatie van 22 LRMs onthult significant lagere efficiëntietendensen, waarbij de uitvoer gemiddeld 15,5 keer langer is dan die van traditionele kleine LLMs. Daarnaast identificeren LRMs vaak correcte antwoorden vroegtijdig, maar blijven ze onnodig delibereren, waarbij sommige modellen zelfs talrijke fouten produceren. Deze bevindingen benadrukken de rigide redeneerpatronen van huidige LRMs en onderstrepen de aanzienlijke ontwikkeling die nodig is om gebalanceerde duale-systeemdenkvaardigheden te bereiken die zich adequaat kunnen aanpassen aan de complexiteit van taken.

English

We introduce S1-Bench, a novel benchmark designed to evaluate Large Reasoning Models' (LRMs) performance on simple tasks that favor intuitive system 1 thinking rather than deliberative system 2 reasoning. While LRMs have achieved significant breakthroughs in complex reasoning tasks through explicit chains of thought, their reliance on deep analytical thinking may limit their system 1 thinking capabilities. Moreover, a lack of benchmark currently exists to evaluate LRMs' performance in tasks that require such capabilities. To fill this gap, S1-Bench presents a set of simple, diverse, and naturally clear questions across multiple domains and languages, specifically designed to assess LRMs' performance in such tasks. Our comprehensive evaluation of 22 LRMs reveals significant lower efficiency tendencies, with outputs averaging 15.5 times longer than those of traditional small LLMs. Additionally, LRMs often identify correct answers early but continue unnecessary deliberation, with some models even producing numerous errors. These findings highlight the rigid reasoning patterns of current LRMs and underscore the substantial development needed to achieve balanced dual-system thinking capabilities that can adapt appropriately to task complexity.