ProgRAG: Recuperación Progresiva y Razonamiento Resistente a Alucinaciones sobre Grafos de Conocimiento

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) demuestran capacidades sólidas de razonamiento, pero enfrentan dificultades con las alucinaciones y una transparencia limitada. Recientemente, los LLMs mejorados con Grafos de Conocimiento (KGs, por sus siglas en inglés) han mostrado mejoras en el rendimiento del razonamiento, especialmente para tareas complejas y que requieren un alto nivel de conocimiento. Sin embargo, estos métodos aún enfrentan desafíos significativos, como la recuperación inexacta y fallos en el razonamiento, a menudo exacerbados por contextos de entrada extensos que oscurecen información relevante o por construcciones de contexto que no logran capturar las direcciones lógicas más ricas requeridas por diferentes tipos de preguntas. Además, muchos de estos enfoques dependen de que los LLMs recuperen evidencia directamente de los KGs y evalúen por sí mismos la suficiencia de esta evidencia, lo que frecuentemente resulta en un razonamiento prematuro o incorrecto. Para abordar los fallos en la recuperación y el razonamiento, proponemos ProgRAG, un marco de respuesta a preguntas de múltiples saltos en grafos de conocimiento (KGQA, por sus siglas en inglés) que descompone preguntas complejas en subpreguntas y extiende progresivamente las rutas de razonamiento parcial al responder cada subpregunta. En cada paso, recuperadores externos recopilan evidencia candidata, la cual es refinada mediante una poda consciente de la incertidumbre realizada por el LLM. Finalmente, el contexto para el razonamiento del LLM se optimiza organizando y reorganizando las rutas de razonamiento parcial obtenidas de las respuestas a las subpreguntas. Los experimentos en tres conjuntos de datos ampliamente conocidos demuestran que ProgRAG supera a los métodos de referencia existentes en KGQA de múltiples saltos, ofreciendo una mayor confiabilidad y calidad en el razonamiento.

English

Large Language Models (LLMs) demonstrate strong reasoning capabilities but struggle with hallucinations and limited transparency. Recently, KG-enhanced LLMs that integrate knowledge graphs (KGs) have been shown to improve reasoning performance, particularly for complex, knowledge-intensive tasks. However, these methods still face significant challenges, including inaccurate retrieval and reasoning failures, often exacerbated by long input contexts that obscure relevant information or by context constructions that struggle to capture the richer logical directions required by different question types. Furthermore, many of these approaches rely on LLMs to directly retrieve evidence from KGs, and to self-assess the sufficiency of this evidence, which often results in premature or incorrect reasoning. To address the retrieval and reasoning failures, we propose ProgRAG, a multi-hop knowledge graph question answering (KGQA) framework that decomposes complex questions into sub-questions, and progressively extends partial reasoning paths by answering each sub-question. At each step, external retrievers gather candidate evidence, which is then refined through uncertainty-aware pruning by the LLM. Finally, the context for LLM reasoning is optimized by organizing and rearranging the partial reasoning paths obtained from the sub-question answers. Experiments on three well-known datasets demonstrate that ProgRAG outperforms existing baselines in multi-hop KGQA, offering improved reliability and reasoning quality.

ProgRAG: Recuperación Progresiva y Razonamiento Resistente a Alucinaciones sobre Grafos de Conocimiento

ProgRAG: Hallucination-Resistant Progressive Retrieval and Reasoning over Knowledge Graphs

Resumen

Support