RiddleBench: новый генеративный бенчмарк логических рассуждений для больших языковых моделей

RiddleBench: A New Generative Reasoning Benchmark for LLMs

October 28, 2025

Авторы: Deepon Halder, Alan Saji, Thanmay Jayakumar, Ratish Puduppully, Anoop Kunchukuttan, Raj Dabre

cs.AI

Аннотация

Крупные языковые модели продемонстрировали высокие результаты на многих устоявшихся тестах на логическое мышление. Однако эти тесты в первую очередь оценивают структурированные навыки, такие как решение количественных задач, оставляя пробел в оценке гибких, многогранных способностей к рассуждению, которые являются центральными для человеческого интеллекта. Эти способности требуют интеграции логического вывода с пространственным восприятием и удовлетворением ограничений, что плохо измеряется существующими системами оценки. Чтобы устранить этот пробел, мы представляем RiddleBench — набор из 1737 сложных головоломок на английском языке, предназначенный для исследования этих ключевых способностей к рассуждению. Оценка современных моделей на RiddleBench выявила фундаментальные слабости. Даже ведущие проприетарные модели, такие как Gemini 2.5 Pro, o3 и Claude 4 Sonnet, демонстрируют точность чуть выше 60% (60,30%, 63,37% и 63,16% соответственно). Анализ дополнительно выявляет серьезные недостатки, включая каскады галлюцинаций (принятие ошибочных рассуждений других моделей) и слабую самокоррекцию из-за сильной склонности к самоутверждению. Их рассуждения также хрупки: производительность значительно ухудшается при изменении порядка ограничений или добавлении нерелевантной информации. RiddleBench служит диагностическим инструментом для выявления этих проблем и ресурсом для разработки более надежных и устойчивых языковых моделей.

English

Large Language Models have demonstrated strong performance on many established reasoning benchmarks. However, these benchmarks primarily evaluate structured skills like quantitative problem-solving, leaving a gap in assessing flexible, multifaceted reasoning abilities that are central to human intelligence. These abilities require integrating logical deduction with spatial awareness and constraint satisfaction, which current evaluations do not measure well. To address this, we introduce RiddleBench, a benchmark of 1,737 challenging puzzles in English designed to probe these core reasoning capabilities. Evaluation of state-of-the-art models on RiddleBench shows fundamental weaknesses. Even top proprietary models like Gemini 2.5 Pro, o3, and Claude 4 Sonnet achieve accuracy just above 60% (60.30%, 63.37%, and 63.16%). Analysis further reveals deep failures, including hallucination cascades (accepting flawed reasoning from other models) and poor self-correction due to a strong self-confirmation bias. Their reasoning is also fragile, with performance degrading significantly when constraints are reordered or irrelevant information is introduced. RiddleBench functions as a diagnostic tool for these issues and as a resource for guiding the development of more robust and reliable language models.