Hop, Skip und Überdenken: Diagnose der Gründe, warum Reasoning-Modelle bei der Multi-Hop-Analyse scheitern

Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis

August 6, 2025

papers.authors: Anushka Yadav, Isha Nalawade, Srujana Pillarichety, Yashwanth Babu, Reshmi Ghosh, Samyadeep Basu, Wenlong Zhao, Ali Nasaeh, Sriram Balasubramanian, Soundararajan Srinivasan

cs.AI

papers.abstract

Die Entstehung von Reasoning-Modellen und deren Integration in praktische KI-Chatbots hat zu Durchbrüchen bei der Lösung fortgeschrittener mathematischer Probleme, tiefer Suche und extraktiver Frage-Antwort-Aufgaben geführt, die einen komplexen und mehrstufigen Denkprozess erfordern. Dennoch fehlt ein vollständiges Verständnis dafür, warum diese Modelle häufiger Halluzinationen aufweisen als allgemeine Sprachmodelle. In dieser Untersuchungsstudie erforschen wir systematisch Reasoning-Fehler zeitgenössischer Sprachmodelle bei Multi-Hop-Frage-Antwort-Aufgaben. Wir führen ein neuartiges, differenziertes Fehlerkategorisierungsframework ein, das Fehler in drei kritischen Dimensionen untersucht: die Vielfalt und Einzigartigkeit der beteiligten Quelldokumente („Hops“), die Vollständigkeit bei der Erfassung relevanter Informationen („Abdeckung“) und kognitive Ineffizienz („Überdenken“). Durch rigorose menschliche Annotation, unterstützt durch komplementäre automatisierte Metriken, deckt unsere Untersuchung komplexe Fehlermuster auf, die oft durch genauigkeitszentrierte Bewertungen verborgen bleiben. Dieser investigative Ansatz bietet tiefere Einblicke in die kognitiven Grenzen aktueller Modelle und liefert umsetzbare Leitlinien zur Verbesserung der Reasoning-Treue, Transparenz und Robustheit zukünftiger Sprachmodellierungsbemühungen.

English

The emergence of reasoning models and their integration into practical AI chat bots has led to breakthroughs in solving advanced math, deep search, and extractive question answering problems that requires a complex and multi-step thought process. Yet, a complete understanding of why these models hallucinate more than general purpose language models is missing. In this investigative study, we systematicallyexplore reasoning failures of contemporary language models on multi-hop question answering tasks. We introduce a novel, nuanced error categorization framework that examines failures across three critical dimensions: the diversity and uniqueness of source documents involved ("hops"), completeness in capturing relevant information ("coverage"), and cognitive inefficiency ("overthinking"). Through rigorous hu-man annotation, supported by complementary automated metrics, our exploration uncovers intricate error patterns often hidden by accuracy-centric evaluations. This investigative approach provides deeper insights into the cognitive limitations of current models and offers actionable guidance toward enhancing reasoning fidelity, transparency, and robustness in future language modeling efforts.