RiddleBench : Un nouveau benchmark de raisonnement génératif pour les LLM

RiddleBench: A New Generative Reasoning Benchmark for LLMs

October 28, 2025

papers.authors: Deepon Halder, Alan Saji, Thanmay Jayakumar, Ratish Puduppully, Anoop Kunchukuttan, Raj Dabre

cs.AI

papers.abstract

Les grands modèles de langage ont démontré des performances solides sur de nombreuses références établies en matière de raisonnement. Cependant, ces benchmarks évaluent principalement des compétences structurées telles que la résolution quantitative de problèmes, laissant un vide dans l'évaluation des capacités de raisonnement flexibles et multidimensionnelles qui sont au cœur de l'intelligence humaine. Ces capacités nécessitent l'intégration de la déduction logique avec la conscience spatiale et la satisfaction de contraintes, que les évaluations actuelles ne mesurent pas bien. Pour remédier à cela, nous présentons RiddleBench, un benchmark de 1 737 énigmes complexes en anglais conçu pour sonder ces capacités fondamentales de raisonnement. L'évaluation des modèles les plus avancés sur RiddleBench révèle des faiblesses fondamentales. Même les meilleurs modèles propriétaires comme Gemini 2.5 Pro, o3 et Claude 4 Sonnet n'atteignent qu'une précision légèrement supérieure à 60 % (respectivement 60,30 %, 63,37 % et 63,16 %). L'analyse révèle en outre des échecs profonds, incluant des cascades d'hallucinations (acceptation de raisonnements erronés d'autres modèles) et une faible autocorrection due à un fort biais d'auto-confirmation. Leur raisonnement est également fragile, les performances se dégradant significativement lorsque les contraintes sont réorganisées ou que des informations non pertinentes sont introduites. RiddleBench sert à la fois d'outil de diagnostic pour ces problèmes et de ressource pour guider le développement de modèles de langage plus robustes et fiables.

English

Large Language Models have demonstrated strong performance on many established reasoning benchmarks. However, these benchmarks primarily evaluate structured skills like quantitative problem-solving, leaving a gap in assessing flexible, multifaceted reasoning abilities that are central to human intelligence. These abilities require integrating logical deduction with spatial awareness and constraint satisfaction, which current evaluations do not measure well. To address this, we introduce RiddleBench, a benchmark of 1,737 challenging puzzles in English designed to probe these core reasoning capabilities. Evaluation of state-of-the-art models on RiddleBench shows fundamental weaknesses. Even top proprietary models like Gemini 2.5 Pro, o3, and Claude 4 Sonnet achieve accuracy just above 60% (60.30%, 63.37%, and 63.16%). Analysis further reveals deep failures, including hallucination cascades (accepting flawed reasoning from other models) and poor self-correction due to a strong self-confirmation bias. Their reasoning is also fragile, with performance degrading significantly when constraints are reordered or irrelevant information is introduced. RiddleBench functions as a diagnostic tool for these issues and as a resource for guiding the development of more robust and reliable language models.