Salto, omisión y sobrepensamiento: Diagnóstico de por qué los modelos de razonamiento tropiezan durante el análisis de múltiples saltos

Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis

August 6, 2025

Autores: Anushka Yadav, Isha Nalawade, Srujana Pillarichety, Yashwanth Babu, Reshmi Ghosh, Samyadeep Basu, Wenlong Zhao, Ali Nasaeh, Sriram Balasubramanian, Soundararajan Srinivasan

cs.AI

Resumen

El surgimiento de modelos de razonamiento y su integración en chatbots de IA prácticos ha llevado a avances significativos en la resolución de problemas avanzados de matemáticas, búsqueda profunda y respuesta a preguntas extractivas que requieren un proceso de pensamiento complejo y de múltiples pasos. Sin embargo, aún falta una comprensión completa de por qué estos modelos alucinan más que los modelos de lenguaje de propósito general. En este estudio investigativo, exploramos sistemáticamente los fallos de razonamiento de los modelos de lenguaje contemporáneos en tareas de respuesta a preguntas de múltiples saltos. Introducimos un marco novedoso y matizado de categorización de errores que examina los fallos en tres dimensiones críticas: la diversidad y unicidad de los documentos fuente involucrados ("saltos"), la completitud en la captura de información relevante ("cobertura") y la ineficiencia cognitiva ("sobrepensamiento"). A través de una rigurosa anotación humana, respaldada por métricas automatizadas complementarias, nuestra exploración revela patrones de error intrincados que a menudo quedan ocultos en evaluaciones centradas en la precisión. Este enfoque investigativo proporciona una comprensión más profunda de las limitaciones cognitivas de los modelos actuales y ofrece orientación práctica para mejorar la fidelidad, transparencia y robustez del razonamiento en futuros esfuerzos de modelado de lenguaje.

English

The emergence of reasoning models and their integration into practical AI chat bots has led to breakthroughs in solving advanced math, deep search, and extractive question answering problems that requires a complex and multi-step thought process. Yet, a complete understanding of why these models hallucinate more than general purpose language models is missing. In this investigative study, we systematicallyexplore reasoning failures of contemporary language models on multi-hop question answering tasks. We introduce a novel, nuanced error categorization framework that examines failures across three critical dimensions: the diversity and uniqueness of source documents involved ("hops"), completeness in capturing relevant information ("coverage"), and cognitive inefficiency ("overthinking"). Through rigorous hu-man annotation, supported by complementary automated metrics, our exploration uncovers intricate error patterns often hidden by accuracy-centric evaluations. This investigative approach provides deeper insights into the cognitive limitations of current models and offers actionable guidance toward enhancing reasoning fidelity, transparency, and robustness in future language modeling efforts.