Saut, Omission et Surpensée : Diagnostiquer les Raisons pour lesquelles les Modèles de Raisonnement Échouent lors de l'Analyse Multi-Étapes

Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis

August 6, 2025

papers.authors: Anushka Yadav, Isha Nalawade, Srujana Pillarichety, Yashwanth Babu, Reshmi Ghosh, Samyadeep Basu, Wenlong Zhao, Ali Nasaeh, Sriram Balasubramanian, Soundararajan Srinivasan

cs.AI

papers.abstract

L'émergence de modèles de raisonnement et leur intégration dans des chatbots d'intelligence artificielle pratiques ont conduit à des avancées dans la résolution de problèmes mathématiques avancés, de recherche approfondie et de réponse à des questions extractives nécessitant un processus de pensée complexe et multi-étapes. Cependant, une compréhension complète de la raison pour laquelle ces modèles hallucinent davantage que les modèles de langage à usage général fait encore défaut. Dans cette étude investigatrice, nous explorons systématiquement les échecs de raisonnement des modèles de langage contemporains sur des tâches de réponse à des questions à sauts multiples. Nous introduisons un cadre novateur et nuancé de catégorisation des erreurs qui examine les échecs selon trois dimensions critiques : la diversité et l'unicité des documents sources impliqués ("sauts"), l'exhaustivité dans la capture des informations pertinentes ("couverture"), et l'inefficacité cognitive ("sur-réflexion"). Grâce à une annotation humaine rigoureuse, soutenue par des métriques automatisées complémentaires, notre exploration révèle des schémas d'erreurs complexes souvent masqués par des évaluations centrées sur la précision. Cette approche investigatrice offre des insights plus profonds sur les limitations cognitives des modèles actuels et fournit des orientations actionnables pour améliorer la fidélité, la transparence et la robustesse du raisonnement dans les futurs efforts de modélisation du langage.

English

The emergence of reasoning models and their integration into practical AI chat bots has led to breakthroughs in solving advanced math, deep search, and extractive question answering problems that requires a complex and multi-step thought process. Yet, a complete understanding of why these models hallucinate more than general purpose language models is missing. In this investigative study, we systematicallyexplore reasoning failures of contemporary language models on multi-hop question answering tasks. We introduce a novel, nuanced error categorization framework that examines failures across three critical dimensions: the diversity and uniqueness of source documents involved ("hops"), completeness in capturing relevant information ("coverage"), and cognitive inefficiency ("overthinking"). Through rigorous hu-man annotation, supported by complementary automated metrics, our exploration uncovers intricate error patterns often hidden by accuracy-centric evaluations. This investigative approach provides deeper insights into the cognitive limitations of current models and offers actionable guidance toward enhancing reasoning fidelity, transparency, and robustness in future language modeling efforts.