S1-Bench: Un Benchmark Simple para Evaluar la Capacidad de Pensamiento del Sistema 1 en Modelos de Razonamiento a Gran Escala

S1-Bench: A Simple Benchmark for Evaluating System 1 Thinking Capability of Large Reasoning Models

April 14, 2025

Autores: Wenyuan Zhang, Shuaiyi Nie, Xinghua Zhang, Zefeng Zhang, Tingwen Liu

cs.AI

Resumen

Presentamos S1-Bench, un nuevo benchmark diseñado para evaluar el rendimiento de los Modelos de Razonamiento a Gran Escala (LRMs, por sus siglas en inglés) en tareas simples que favorecen el pensamiento intuitivo del sistema 1 en lugar del razonamiento deliberativo del sistema 2. Si bien los LRMs han logrado avances significativos en tareas de razonamiento complejo mediante cadenas de pensamiento explícitas, su dependencia del pensamiento analítico profundo puede limitar sus capacidades de pensamiento del sistema 1. Además, actualmente no existe un benchmark para evaluar el rendimiento de los LRMs en tareas que requieren dichas capacidades. Para llenar este vacío, S1-Bench presenta un conjunto de preguntas simples, diversas y naturalmente claras en múltiples dominios e idiomas, diseñadas específicamente para evaluar el rendimiento de los LRMs en este tipo de tareas. Nuestra evaluación exhaustiva de 22 LRMs revela tendencias significativamente menos eficientes, con salidas que promedian 15.5 veces más largas que las de los modelos de lenguaje pequeños tradicionales (LLMs). Además, los LRMs a menudo identifican respuestas correctas al principio pero continúan deliberando innecesariamente, y algunos modelos incluso producen numerosos errores. Estos hallazgos resaltan los patrones de razonamiento rígidos de los LRMs actuales y subrayan el desarrollo sustancial necesario para lograr capacidades de pensamiento dual equilibradas que puedan adaptarse adecuadamente a la complejidad de la tarea.

English

We introduce S1-Bench, a novel benchmark designed to evaluate Large Reasoning Models' (LRMs) performance on simple tasks that favor intuitive system 1 thinking rather than deliberative system 2 reasoning. While LRMs have achieved significant breakthroughs in complex reasoning tasks through explicit chains of thought, their reliance on deep analytical thinking may limit their system 1 thinking capabilities. Moreover, a lack of benchmark currently exists to evaluate LRMs' performance in tasks that require such capabilities. To fill this gap, S1-Bench presents a set of simple, diverse, and naturally clear questions across multiple domains and languages, specifically designed to assess LRMs' performance in such tasks. Our comprehensive evaluation of 22 LRMs reveals significant lower efficiency tendencies, with outputs averaging 15.5 times longer than those of traditional small LLMs. Additionally, LRMs often identify correct answers early but continue unnecessary deliberation, with some models even producing numerous errors. These findings highlight the rigid reasoning patterns of current LRMs and underscore the substantial development needed to achieve balanced dual-system thinking capabilities that can adapt appropriately to task complexity.