RiddleBench: Een nieuwe generatieve redeneerbenchmark voor grote taalmodellen

RiddleBench: A New Generative Reasoning Benchmark for LLMs

October 28, 2025

Auteurs: Deepon Halder, Alan Saji, Thanmay Jayakumar, Ratish Puduppully, Anoop Kunchukuttan, Raj Dabre

cs.AI

Samenvatting

Grote Taalmodellen hebben sterke prestaties getoond op veel gevestigde redeneerbenchmarks. Deze benchmarks evalueren echter voornamelijk gestructureerde vaardigheden zoals kwantitatief probleemoplossen, waardoor een kloof ontstaat in het beoordelen van flexibele, veelzijdige redeneervaardigheden die centraal staan in de menselijke intelligentie. Deze vaardigheden vereisen de integratie van logische deductie met ruimtelijk inzicht en constraint satisfaction, wat door huidige evaluaties niet goed wordt gemeten. Om dit aan te pakken, introduceren we RiddleBench, een benchmark bestaande uit 1.737 uitdagende raadsels in het Engels, ontworpen om deze kernredeneervaardigheden te onderzoeken. Evaluatie van state-of-the-art modellen op RiddleBench toont fundamentele zwaktes. Zelfs toonaangevende propriëtaire modellen zoals Gemini 2.5 Pro, o3 en Claude 4 Sonnet halen een nauwkeurigheid van slechts iets boven de 60% (respectievelijk 60,30%, 63,37% en 63,16%). Analyse onthult verder diepgaande mislukkingen, waaronder hallucinatiecascades (het accepteren van gebrekkige redeneringen van andere modellen) en een zwakke zelfcorrectie als gevolg van een sterke zelfbevestigingsbias. Hun redenering is ook fragiel, waarbij de prestaties significant verslechteren wanneer beperkingen worden herschikt of irrelevante informatie wordt geïntroduceerd. RiddleBench fungeert als een diagnostisch hulpmiddel voor deze problemen en als een bron voor het leiden van de ontwikkeling van robuustere en betrouwbaardere taalmodellen.

English

Large Language Models have demonstrated strong performance on many established reasoning benchmarks. However, these benchmarks primarily evaluate structured skills like quantitative problem-solving, leaving a gap in assessing flexible, multifaceted reasoning abilities that are central to human intelligence. These abilities require integrating logical deduction with spatial awareness and constraint satisfaction, which current evaluations do not measure well. To address this, we introduce RiddleBench, a benchmark of 1,737 challenging puzzles in English designed to probe these core reasoning capabilities. Evaluation of state-of-the-art models on RiddleBench shows fundamental weaknesses. Even top proprietary models like Gemini 2.5 Pro, o3, and Claude 4 Sonnet achieve accuracy just above 60% (60.30%, 63.37%, and 63.16%). Analysis further reveals deep failures, including hallucination cascades (accepting flawed reasoning from other models) and poor self-correction due to a strong self-confirmation bias. Their reasoning is also fragile, with performance degrading significantly when constraints are reordered or irrelevant information is introduced. RiddleBench functions as a diagnostic tool for these issues and as a resource for guiding the development of more robust and reliable language models.