Hop, Skip en Overdenken: Diagnose van Waarom Redeneermodellen Struikelen tijdens Multi-Hop Analyse

Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis

August 6, 2025

Auteurs: Anushka Yadav, Isha Nalawade, Srujana Pillarichety, Yashwanth Babu, Reshmi Ghosh, Samyadeep Basu, Wenlong Zhao, Ali Nasaeh, Sriram Balasubramanian, Soundararajan Srinivasan

cs.AI

Samenvatting

De opkomst van redeneermodellen en hun integratie in praktische AI-chatbots heeft geleid tot doorbraken in het oplossen van geavanceerde wiskundige problemen, diepgaande zoekopdrachten en extractieve vraag-antwoordproblemen die een complex en meerstaps denkproces vereisen. Toch ontbreekt een volledig begrip van waarom deze modellen meer hallucineren dan algemene taalmodellen. In dit onderzoekende studie verkennen we systematisch de redeneerfouten van hedendaagse taalmodellen bij meerstaps vraag-antwoordtaken. We introduceren een nieuw, genuanceerd foutencategorisatiekader dat fouten onderzoekt langs drie kritische dimensies: de diversiteit en uniciteit van betrokken brondocumenten ("hops"), de volledigheid in het vastleggen van relevante informatie ("dekking"), en cognitieve inefficiëntie ("overdenken"). Door middel van rigoureuze menselijke annotatie, ondersteund door aanvullende geautomatiseerde metrieken, onthult onze verkenning ingewikkelde foutpatronen die vaak verborgen blijven door nauwkeurigheidsgerichte evaluaties. Deze onderzoekende aanpak biedt diepere inzichten in de cognitieve beperkingen van huidige modellen en biedt praktische richtlijnen voor het verbeteren van redeneerbetrouwbaarheid, transparantie en robuustheid in toekomstige taalmodelleringsinspanningen.

English

The emergence of reasoning models and their integration into practical AI chat bots has led to breakthroughs in solving advanced math, deep search, and extractive question answering problems that requires a complex and multi-step thought process. Yet, a complete understanding of why these models hallucinate more than general purpose language models is missing. In this investigative study, we systematicallyexplore reasoning failures of contemporary language models on multi-hop question answering tasks. We introduce a novel, nuanced error categorization framework that examines failures across three critical dimensions: the diversity and uniqueness of source documents involved ("hops"), completeness in capturing relevant information ("coverage"), and cognitive inefficiency ("overthinking"). Through rigorous hu-man annotation, supported by complementary automated metrics, our exploration uncovers intricate error patterns often hidden by accuracy-centric evaluations. This investigative approach provides deeper insights into the cognitive limitations of current models and offers actionable guidance toward enhancing reasoning fidelity, transparency, and robustness in future language modeling efforts.