RiddleBench: Um Novo Benchmark de Raciocínio Generativo para LLMs

RiddleBench: A New Generative Reasoning Benchmark for LLMs

October 28, 2025

Autores: Deepon Halder, Alan Saji, Thanmay Jayakumar, Ratish Puduppully, Anoop Kunchukuttan, Raj Dabre

cs.AI

Resumo

Os Modelos de Linguagem de Grande Porte demonstraram um forte desempenho em muitos benchmarks de raciocínio estabelecidos. No entanto, estes benchmarks avaliam principalmente competências estruturadas, como a resolução quantitativa de problemas, deixando uma lacuna na avaliação de capacidades de raciocínio flexíveis e multifacetadas que são centrais para a inteligência humana. Estas capacidades requerem a integração da dedução lógica com a perceção espacial e a satisfação de restrições, aspetos que as avaliações atuais não medem bem. Para colmatar esta lacuna, apresentamos o RiddleBench, um benchmark composto por 1.737 puzzles desafiadores em inglês, concebido para sondar estas capacidades fundamentais de raciocínio. A avaliação de modelos de última geração no RiddleBench revela fraquezas fundamentais. Mesmo os principais modelos proprietários, como o Gemini 2.5 Pro, o o3 e o Claude 4 Sonnet, atingem uma precisão pouco acima de 60% (60,30%, 63,37% e 63,16%, respetivamente). A análise revela ainda falhas profundas, incluindo cascatas de alucinação (aceitação de raciocínios falhos de outros modelos) e uma fraca capacidade de autocorreção devido a um forte viés de autoconfirmação. O seu raciocínio é também frágil, com o desempenho a degradar-se significativamente quando as restrições são reordenadas ou é introduzida informação irrelevante. O RiddleBench funciona como uma ferramenta de diagnóstico para estas questões e como um recurso para orientar o desenvolvimento de modelos de linguagem mais robustos e fiáveis.

English

Large Language Models have demonstrated strong performance on many established reasoning benchmarks. However, these benchmarks primarily evaluate structured skills like quantitative problem-solving, leaving a gap in assessing flexible, multifaceted reasoning abilities that are central to human intelligence. These abilities require integrating logical deduction with spatial awareness and constraint satisfaction, which current evaluations do not measure well. To address this, we introduce RiddleBench, a benchmark of 1,737 challenging puzzles in English designed to probe these core reasoning capabilities. Evaluation of state-of-the-art models on RiddleBench shows fundamental weaknesses. Even top proprietary models like Gemini 2.5 Pro, o3, and Claude 4 Sonnet achieve accuracy just above 60% (60.30%, 63.37%, and 63.16%). Analysis further reveals deep failures, including hallucination cascades (accepting flawed reasoning from other models) and poor self-correction due to a strong self-confirmation bias. Their reasoning is also fragile, with performance degrading significantly when constraints are reordered or irrelevant information is introduced. RiddleBench functions as a diagnostic tool for these issues and as a resource for guiding the development of more robust and reliable language models.