RiddleBench: Un Nuovo Benchmark Generativo di Ragionamento per i LLM

RiddleBench: A New Generative Reasoning Benchmark for LLMs

October 28, 2025

Autori: Deepon Halder, Alan Saji, Thanmay Jayakumar, Ratish Puduppully, Anoop Kunchukuttan, Raj Dabre

cs.AI

Abstract

I modelli linguistici di grandi dimensioni hanno dimostrato prestazioni solide su molti benchmark di ragionamento consolidati. Tuttavia, questi benchmark valutano principalmente abilità strutturate come la risoluzione di problemi quantitativi, lasciando un vuoto nella valutazione di abilità di ragionamento flessibili e multifaccettate che sono centrali per l'intelligenza umana. Queste abilità richiedono l'integrazione della deduzione logica con la consapevolezza spaziale e la soddisfazione di vincoli, aspetti che le valutazioni attuali non misurano adeguatamente. Per colmare questa lacuna, presentiamo RiddleBench, un benchmark composto da 1.737 rompicapo complessi in inglese progettati per indagare queste capacità di ragionamento fondamentali. La valutazione dei modelli più all'avanguardia su RiddleBench rivela debolezze fondamentali. Anche i migliori modelli proprietari come Gemini 2.5 Pro, o3 e Claude 4 Sonnet raggiungono un'accuratezza di poco superiore al 60% (rispettivamente 60,30%, 63,37% e 63,16%). L'analisi rivela inoltre fallimenti profondi, tra cui cascate di allucinazioni (l'accettare ragionamenti errati provenienti da altri modelli) e una scarsa autocorrezione dovuta a un forte bias di auto-conferma. Il loro ragionamento è anche fragile, con prestazioni che si degradano significativamente quando i vincoli vengono riordinati o vengono introdotte informazioni irrilevanti. RiddleBench funge sia da strumento diagnostico per questi problemi che da risorsa per guidare lo sviluppo di modelli linguistici più robusti e affidabili.

English

Large Language Models have demonstrated strong performance on many established reasoning benchmarks. However, these benchmarks primarily evaluate structured skills like quantitative problem-solving, leaving a gap in assessing flexible, multifaceted reasoning abilities that are central to human intelligence. These abilities require integrating logical deduction with spatial awareness and constraint satisfaction, which current evaluations do not measure well. To address this, we introduce RiddleBench, a benchmark of 1,737 challenging puzzles in English designed to probe these core reasoning capabilities. Evaluation of state-of-the-art models on RiddleBench shows fundamental weaknesses. Even top proprietary models like Gemini 2.5 Pro, o3, and Claude 4 Sonnet achieve accuracy just above 60% (60.30%, 63.37%, and 63.16%). Analysis further reveals deep failures, including hallucination cascades (accepting flawed reasoning from other models) and poor self-correction due to a strong self-confirmation bias. Their reasoning is also fragile, with performance degrading significantly when constraints are reordered or irrelevant information is introduced. RiddleBench functions as a diagnostic tool for these issues and as a resource for guiding the development of more robust and reliable language models.