ZebraLogic: О пределах масштабирования LLM для логического вывода

ZebraLogic: On the Scaling Limits of LLMs for Logical Reasoning

February 3, 2025

Авторы: Bill Yuchen Lin, Ronan Le Bras, Kyle Richardson, Ashish Sabharwal, Radha Poovendran, Peter Clark, Yejin Choi

cs.AI

Аннотация

Мы исследуем логические способности крупных языковых моделей (LLM) и их масштабируемость в сложном немонотонном выводе. Для этой цели мы представляем ZebraLogic, комплексную систему оценки производительности рассуждений LLM на логических головоломках, происходящих из проблем удовлетворения ограничений (CSP). ZebraLogic позволяет генерировать головоломки с контролируемой и измеримой сложностью, облегчая систематическое изучение пределов масштабирования моделей, таких как Llama, o1 модели и DeepSeek-R1. Охватывая широкий диапазон сложностей пространства поиска и разнообразные логические ограничения, ZebraLogic предоставляет структурированную среду для оценки рассуждений при увеличении сложности. Наши результаты показывают значительное снижение точности с ростом сложности проблемы - явление, которое мы называем проклятием сложности. Это ограничение сохраняется даже с более крупными моделями и увеличением времени вывода, что указывает на врожденные ограничения в текущих логических способностях LLM. Кроме того, мы исследуем стратегии для улучшения логического рассуждения, включая выборку Best-of-N, механизмы возврата к предыдущему состоянию и подсказки для самопроверки. Наши результаты предлагают критические идеи о масштабируемости логического рассуждения LLM, выделяют фундаментальные ограничения и намечают потенциальные направления для улучшения.

English

We investigate the logical reasoning capabilities of large language models (LLMs) and their scalability in complex non-monotonic reasoning. To this end, we introduce ZebraLogic, a comprehensive evaluation framework for assessing LLM reasoning performance on logic grid puzzles derived from constraint satisfaction problems (CSPs). ZebraLogic enables the generation of puzzles with controllable and quantifiable complexity, facilitating a systematic study of the scaling limits of models such as Llama, o1 models, and DeepSeek-R1. By encompassing a broad range of search space complexities and diverse logical constraints, ZebraLogic provides a structured environment to evaluate reasoning under increasing difficulty. Our results reveal a significant decline in accuracy as problem complexity grows -- a phenomenon we term the curse of complexity. This limitation persists even with larger models and increased inference-time computation, suggesting inherent constraints in current LLM reasoning capabilities. Additionally, we explore strategies to enhance logical reasoning, including Best-of-N sampling, backtracking mechanisms, and self-verification prompts. Our findings offer critical insights into the scalability of LLM reasoning, highlight fundamental limitations, and outline potential directions for improvement.