RiddleBench: Un Nuevo Benchmark de Razonamiento Generativo para Modelos de Lenguaje Grandes

RiddleBench: A New Generative Reasoning Benchmark for LLMs

October 28, 2025

Autores: Deepon Halder, Alan Saji, Thanmay Jayakumar, Ratish Puduppully, Anoop Kunchukuttan, Raj Dabre

cs.AI

Resumen

Los modelos de lenguaje grande han demostrado un alto rendimiento en muchos puntos de referencia de razonamiento establecidos. Sin embargo, estos benchmarks evalúan principalmente habilidades estructuradas, como la resolución de problemas cuantitativos, dejando un vacío en la evaluación de las capacidades de razonamiento flexibles y multifacéticas que son centrales para la inteligencia humana. Estas habilidades requieren integrar la deducción lógica con la conciencia espacial y la satisfacción de restricciones, aspectos que las evaluaciones actuales no miden adecuadamente. Para abordar esto, presentamos RiddleBench, un benchmark de 1.737 acertijos desafiantes en inglés diseñado para sondear estas capacidades de razonamiento centrales. La evaluación de modelos de última generación en RiddleBench revela debilidades fundamentales. Incluso los mejores modelos propietarios, como Gemini 2.5 Pro, o3 y Claude 4 Sonnet, logran una precisión apenas superior al 60% (60.30%, 63.37% y 63.16%, respectivamente). El análisis revela además fallos profundos, incluyendo cascadas de alucinación (aceptar razonamientos defectuosos de otros modelos) y una pobre capacidad de autocorrección debido a un fuerte sesgo de autoconfirmación. Su razonamiento también es frágil, degradándose significativamente cuando se reordenan las restricciones o se introduce información irrelevante. RiddleBench funciona como una herramienta de diagnóstico para estos problemas y como un recurso para guiar el desarrollo de modelos de lenguaje más robustos y confiables.

English

Large Language Models have demonstrated strong performance on many established reasoning benchmarks. However, these benchmarks primarily evaluate structured skills like quantitative problem-solving, leaving a gap in assessing flexible, multifaceted reasoning abilities that are central to human intelligence. These abilities require integrating logical deduction with spatial awareness and constraint satisfaction, which current evaluations do not measure well. To address this, we introduce RiddleBench, a benchmark of 1,737 challenging puzzles in English designed to probe these core reasoning capabilities. Evaluation of state-of-the-art models on RiddleBench shows fundamental weaknesses. Even top proprietary models like Gemini 2.5 Pro, o3, and Claude 4 Sonnet achieve accuracy just above 60% (60.30%, 63.37%, and 63.16%). Analysis further reveals deep failures, including hallucination cascades (accepting flawed reasoning from other models) and poor self-correction due to a strong self-confirmation bias. Their reasoning is also fragile, with performance degrading significantly when constraints are reordered or irrelevant information is introduced. RiddleBench functions as a diagnostic tool for these issues and as a resource for guiding the development of more robust and reliable language models.