S1-Bench: Um Benchmark Simples para Avaliar a Capacidade de Pensamento do Sistema 1 em Modelos de Raciocínio de Grande Escala

S1-Bench: A Simple Benchmark for Evaluating System 1 Thinking Capability of Large Reasoning Models

April 14, 2025

Autores: Wenyuan Zhang, Shuaiyi Nie, Xinghua Zhang, Zefeng Zhang, Tingwen Liu

cs.AI

Resumo

Apresentamos o S1-Bench, um novo benchmark projetado para avaliar o desempenho de Modelos de Raciocínio de Grande Escala (LRMs) em tarefas simples que favorecem o pensamento intuitivo do sistema 1, em vez do raciocínio deliberativo do sistema 2. Embora os LRMs tenham alcançado avanços significativos em tarefas complexas de raciocínio por meio de cadeias explícitas de pensamento, sua dependência do pensamento analítico profundo pode limitar suas capacidades de pensamento do sistema 1. Além disso, atualmente não existe um benchmark para avaliar o desempenho dos LRMs em tarefas que exigem tais capacidades. Para preencher essa lacuna, o S1-Bench apresenta um conjunto de perguntas simples, diversas e naturalmente claras em vários domínios e idiomas, especificamente projetadas para avaliar o desempenho dos LRMs nessas tarefas. Nossa avaliação abrangente de 22 LRMs revela tendências significativamente menores de eficiência, com saídas em média 15,5 vezes mais longas do que as de pequenos LLMs tradicionais. Além disso, os LRMs frequentemente identificam respostas corretas no início, mas continuam com deliberações desnecessárias, com alguns modelos até produzindo vários erros. Essas descobertas destacam os padrões rígidos de raciocínio dos LRMs atuais e enfatizam o desenvolvimento substancial necessário para alcançar capacidades equilibradas de pensamento de sistema duplo que possam se adaptar adequadamente à complexidade da tarefa.

English

We introduce S1-Bench, a novel benchmark designed to evaluate Large Reasoning Models' (LRMs) performance on simple tasks that favor intuitive system 1 thinking rather than deliberative system 2 reasoning. While LRMs have achieved significant breakthroughs in complex reasoning tasks through explicit chains of thought, their reliance on deep analytical thinking may limit their system 1 thinking capabilities. Moreover, a lack of benchmark currently exists to evaluate LRMs' performance in tasks that require such capabilities. To fill this gap, S1-Bench presents a set of simple, diverse, and naturally clear questions across multiple domains and languages, specifically designed to assess LRMs' performance in such tasks. Our comprehensive evaluation of 22 LRMs reveals significant lower efficiency tendencies, with outputs averaging 15.5 times longer than those of traditional small LLMs. Additionally, LRMs often identify correct answers early but continue unnecessary deliberation, with some models even producing numerous errors. These findings highlight the rigid reasoning patterns of current LRMs and underscore the substantial development needed to achieve balanced dual-system thinking capabilities that can adapt appropriately to task complexity.