S1-Bench: 大規模推論モデルのシステム1思考能力を評価するためのシンプルなベンチマーク

S1-Bench: A Simple Benchmark for Evaluating System 1 Thinking Capability of Large Reasoning Models

April 14, 2025

著者: Wenyuan Zhang, Shuaiyi Nie, Xinghua Zhang, Zefeng Zhang, Tingwen Liu

cs.AI

要旨

私たちは、大規模推論モデル（LRM）の直感的なシステム1思考を重視する単純なタスクにおける性能を評価するための新しいベンチマーク「S1-Bench」を紹介します。LRMは、明示的な思考連鎖を通じて複雑な推論タスクで大きなブレークスルーを達成していますが、深い分析的思考への依存がシステム1思考能力を制限する可能性があります。さらに、そのような能力を必要とするタスクにおけるLRMの性能を評価するためのベンチマークが現在存在していません。このギャップを埋めるため、S1-Benchは、複数のドメインと言語にわたる単純で多様かつ自然に明確な質問セットを提供し、そのようなタスクにおけるLRMの性能を評価するために特別に設計されています。22のLRMに対する包括的な評価では、従来の小規模LLMと比較して出力が平均15.5倍も長くなるという著しい非効率性が明らかになりました。さらに、LRMは正しい答えを早期に特定するものの、不必要な熟考を続け、一部のモデルでは多数のエラーを生成することさえあります。これらの発見は、現在のLRMの硬直した推論パターンを浮き彫りにし、タスクの複雑さに適応できるバランスの取れた二重システム思考能力を達成するために必要な大幅な開発を強調しています。

English

We introduce S1-Bench, a novel benchmark designed to evaluate Large Reasoning Models' (LRMs) performance on simple tasks that favor intuitive system 1 thinking rather than deliberative system 2 reasoning. While LRMs have achieved significant breakthroughs in complex reasoning tasks through explicit chains of thought, their reliance on deep analytical thinking may limit their system 1 thinking capabilities. Moreover, a lack of benchmark currently exists to evaluate LRMs' performance in tasks that require such capabilities. To fill this gap, S1-Bench presents a set of simple, diverse, and naturally clear questions across multiple domains and languages, specifically designed to assess LRMs' performance in such tasks. Our comprehensive evaluation of 22 LRMs reveals significant lower efficiency tendencies, with outputs averaging 15.5 times longer than those of traditional small LLMs. Additionally, LRMs often identify correct answers early but continue unnecessary deliberation, with some models even producing numerous errors. These findings highlight the rigid reasoning patterns of current LRMs and underscore the substantial development needed to achieve balanced dual-system thinking capabilities that can adapt appropriately to task complexity.