Hop, Skip e Sovrapensiero: Diagnosticare Perché i Modelli di Ragionamento Inciampano nell'Analisi Multi-Hop

Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis

August 6, 2025

Autori: Anushka Yadav, Isha Nalawade, Srujana Pillarichety, Yashwanth Babu, Reshmi Ghosh, Samyadeep Basu, Wenlong Zhao, Ali Nasaeh, Sriram Balasubramanian, Soundararajan Srinivasan

cs.AI

Abstract

L'emergenza di modelli di ragionamento e la loro integrazione in chatbot pratici di intelligenza artificiale ha portato a progressi significativi nella risoluzione di problemi avanzati di matematica, ricerca approfondita e risposte a domande estrattive che richiedono un processo di pensiero complesso e multi-step. Tuttavia, manca ancora una comprensione completa del motivo per cui questi modelli "allucinano" più rispetto ai modelli linguistici generici. In questo studio investigativo, esploriamo sistematicamente i fallimenti di ragionamento dei modelli linguistici contemporanei in compiti di risposta a domande multi-hop. Introduciamo un nuovo e sfumato framework di categorizzazione degli errori che esamina i fallimenti attraverso tre dimensioni critiche: la diversità e unicità dei documenti sorgente coinvolti ("hops"), la completezza nella cattura delle informazioni rilevanti ("copertura") e l'inefficienza cognitiva ("overthinking"). Attraverso un'annotazione umana rigorosa, supportata da metriche automatizzate complementari, la nostra esplorazione rivela intricati schemi di errore spesso nascosti da valutazioni centrate sull'accuratezza. Questo approccio investigativo fornisce approfondimenti più profondi sulle limitazioni cognitive dei modelli attuali e offre indicazioni pratiche per migliorare la fedeltà, la trasparenza e la robustezza del ragionamento nei futuri sforzi di modellazione linguistica.

English

The emergence of reasoning models and their integration into practical AI chat bots has led to breakthroughs in solving advanced math, deep search, and extractive question answering problems that requires a complex and multi-step thought process. Yet, a complete understanding of why these models hallucinate more than general purpose language models is missing. In this investigative study, we systematicallyexplore reasoning failures of contemporary language models on multi-hop question answering tasks. We introduce a novel, nuanced error categorization framework that examines failures across three critical dimensions: the diversity and uniqueness of source documents involved ("hops"), completeness in capturing relevant information ("coverage"), and cognitive inefficiency ("overthinking"). Through rigorous hu-man annotation, supported by complementary automated metrics, our exploration uncovers intricate error patterns often hidden by accuracy-centric evaluations. This investigative approach provides deeper insights into the cognitive limitations of current models and offers actionable guidance toward enhancing reasoning fidelity, transparency, and robustness in future language modeling efforts.