Pulo, Salto e Superpensamento: Diagnosticando Por que Modelos de Raciocínio Tropeçam na Análise de Múltiplos Passos

Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis

August 6, 2025

Autores: Anushka Yadav, Isha Nalawade, Srujana Pillarichety, Yashwanth Babu, Reshmi Ghosh, Samyadeep Basu, Wenlong Zhao, Ali Nasaeh, Sriram Balasubramanian, Soundararajan Srinivasan

cs.AI

Resumo

O surgimento de modelos de raciocínio e sua integração em chatbots de IA práticos levou a avanços na resolução de problemas avançados de matemática, buscas profundas e respostas a perguntas extrativas que exigem um processo de pensamento complexo e em várias etapas. No entanto, ainda falta uma compreensão completa do porquê esses modelos alucinam mais do que modelos de linguagem de propósito geral. Neste estudo investigativo, exploramos sistematicamente as falhas de raciocínio dos modelos de linguagem contemporâneos em tarefas de resposta a perguntas de múltiplos saltos. Introduzimos uma nova e detalhada estrutura de categorização de erros que examina as falhas em três dimensões críticas: a diversidade e singularidade dos documentos-fonte envolvidos ("saltos"), a completude na captura de informações relevantes ("cobertura") e a ineficiência cognitiva ("pensar demais"). Por meio de uma rigorosa anotação humana, apoiada por métricas automatizadas complementares, nossa exploração revela padrões intrincados de erros frequentemente ocultos por avaliações centradas na precisão. Essa abordagem investigativa fornece insights mais profundos sobre as limitações cognitivas dos modelos atuais e oferece orientações práticas para melhorar a fidelidade, transparência e robustez do raciocínio em futuros esforços de modelagem de linguagem.

English

The emergence of reasoning models and their integration into practical AI chat bots has led to breakthroughs in solving advanced math, deep search, and extractive question answering problems that requires a complex and multi-step thought process. Yet, a complete understanding of why these models hallucinate more than general purpose language models is missing. In this investigative study, we systematicallyexplore reasoning failures of contemporary language models on multi-hop question answering tasks. We introduce a novel, nuanced error categorization framework that examines failures across three critical dimensions: the diversity and uniqueness of source documents involved ("hops"), completeness in capturing relevant information ("coverage"), and cognitive inefficiency ("overthinking"). Through rigorous hu-man annotation, supported by complementary automated metrics, our exploration uncovers intricate error patterns often hidden by accuracy-centric evaluations. This investigative approach provides deeper insights into the cognitive limitations of current models and offers actionable guidance toward enhancing reasoning fidelity, transparency, and robustness in future language modeling efforts.