Прыжок, Пропуск и Переосмысление: Диагностика причин сбоев моделей рассуждений при многошаговом анализе

Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis

August 6, 2025

Авторы: Anushka Yadav, Isha Nalawade, Srujana Pillarichety, Yashwanth Babu, Reshmi Ghosh, Samyadeep Basu, Wenlong Zhao, Ali Nasaeh, Sriram Balasubramanian, Soundararajan Srinivasan

cs.AI

Аннотация

Появление моделей логического рассуждения и их интеграция в практические AI-чатботы привели к прорывам в решении сложных математических задач, глубокого поиска и извлечения ответов на вопросы, требующих многоэтапного мыслительного процесса. Однако полное понимание того, почему эти модели чаще галлюцинируют по сравнению с универсальными языковыми моделями, остается недостаточным. В данном исследовании мы систематически изучаем ошибки логического рассуждения современных языковых моделей в задачах многошагового ответа на вопросы. Мы представляем новую, детализированную систему классификации ошибок, которая анализирует сбои по трем ключевым аспектам: разнообразие и уникальность задействованных исходных документов ("шаги"), полнота охвата релевантной информации ("охват") и когнитивная неэффективность ("переосмысление"). Благодаря тщательной аннотации, подкрепленной дополнительными автоматизированными метриками, наше исследование выявляет сложные паттерны ошибок, часто скрытые в оценках, ориентированных на точность. Такой аналитический подход дает более глубокое понимание когнитивных ограничений современных моделей и предлагает практические рекомендации для повышения точности, прозрачности и устойчивости логического рассуждения в будущих разработках языковых моделей.

English

The emergence of reasoning models and their integration into practical AI chat bots has led to breakthroughs in solving advanced math, deep search, and extractive question answering problems that requires a complex and multi-step thought process. Yet, a complete understanding of why these models hallucinate more than general purpose language models is missing. In this investigative study, we systematicallyexplore reasoning failures of contemporary language models on multi-hop question answering tasks. We introduce a novel, nuanced error categorization framework that examines failures across three critical dimensions: the diversity and uniqueness of source documents involved ("hops"), completeness in capturing relevant information ("coverage"), and cognitive inefficiency ("overthinking"). Through rigorous hu-man annotation, supported by complementary automated metrics, our exploration uncovers intricate error patterns often hidden by accuracy-centric evaluations. This investigative approach provides deeper insights into the cognitive limitations of current models and offers actionable guidance toward enhancing reasoning fidelity, transparency, and robustness in future language modeling efforts.