S1-Bench: Простой бенчмарк для оценки способности крупных моделей рассуждений к мышлению Системы 1

S1-Bench: A Simple Benchmark for Evaluating System 1 Thinking Capability of Large Reasoning Models

April 14, 2025

Авторы: Wenyuan Zhang, Shuaiyi Nie, Xinghua Zhang, Zefeng Zhang, Tingwen Liu

cs.AI

Аннотация

Мы представляем S1-Bench — новый эталонный тест, разработанный для оценки производительности крупных моделей рассуждений (LRMs) на простых задачах, которые требуют интуитивного мышления системы 1, а не аналитического мышления системы 2. Хотя LRMs достигли значительных прорывов в сложных задачах рассуждений благодаря явным цепочкам мыслей, их зависимость от глубокого аналитического мышления может ограничивать их способности к мышлению системы 1. Более того, в настоящее время отсутствует эталонный тест для оценки производительности LRMs в задачах, требующих таких способностей. Чтобы заполнить этот пробел, S1-Bench предлагает набор простых, разнообразных и интуитивно понятных вопросов из различных областей и языков, специально разработанных для оценки производительности LRMs в таких задачах. Наше всестороннее тестирование 22 LRMs выявило значительную тенденцию к снижению эффективности: их ответы в среднем в 15,5 раз длиннее, чем у традиционных небольших языковых моделей (LLMs). Кроме того, LRMs часто находят правильные ответы на ранних этапах, но продолжают излишне углубляться в рассуждения, причем некоторые модели даже допускают множество ошибок. Эти результаты подчеркивают жесткие шаблоны рассуждений современных LRMs и указывают на необходимость существенного развития для достижения сбалансированных возможностей двойного мышления, которые могут адаптироваться к сложности задачи.

English

We introduce S1-Bench, a novel benchmark designed to evaluate Large Reasoning Models' (LRMs) performance on simple tasks that favor intuitive system 1 thinking rather than deliberative system 2 reasoning. While LRMs have achieved significant breakthroughs in complex reasoning tasks through explicit chains of thought, their reliance on deep analytical thinking may limit their system 1 thinking capabilities. Moreover, a lack of benchmark currently exists to evaluate LRMs' performance in tasks that require such capabilities. To fill this gap, S1-Bench presents a set of simple, diverse, and naturally clear questions across multiple domains and languages, specifically designed to assess LRMs' performance in such tasks. Our comprehensive evaluation of 22 LRMs reveals significant lower efficiency tendencies, with outputs averaging 15.5 times longer than those of traditional small LLMs. Additionally, LRMs often identify correct answers early but continue unnecessary deliberation, with some models even producing numerous errors. These findings highlight the rigid reasoning patterns of current LRMs and underscore the substantial development needed to achieve balanced dual-system thinking capabilities that can adapt appropriately to task complexity.