ProgRAG: Halluzinationsresistenter progressiver Abruf und Schlussfolgerung über Wissensgraphen

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen starke Fähigkeiten im logischen Denken, kämpfen jedoch mit Halluzinationen und begrenzter Transparenz. Kürzlich wurde gezeigt, dass KG-erweiterte LLMs, die Wissensgraphen (KGs) integrieren, die Leistung im logischen Denken verbessern, insbesondere bei komplexen, wissensintensiven Aufgaben. Diese Methoden stehen jedoch weiterhin vor erheblichen Herausforderungen, darunter ungenaue Retrieval- und Denkfehler, die oft durch lange Eingabekontexte verschärft werden, die relevante Informationen verdecken, oder durch Konstruktionen, die Schwierigkeiten haben, die reicheren logischen Richtungen zu erfassen, die von verschiedenen Fragentypen benötigt werden. Darüber hinaus verlassen sich viele dieser Ansätze darauf, dass LLMs Beweise direkt aus KGs abrufen und selbst bewerten, ob diese Beweise ausreichend sind, was oft zu vorzeitigen oder falschen Schlussfolgerungen führt. Um die Retrieval- und Denkfehler zu beheben, schlagen wir ProgRAG vor, ein Multi-Hop-Wissensgraphen-Frage-Antwort-System (KGQA), das komplexe Fragen in Teilfragen zerlegt und partielle Denkpfade schrittweise erweitert, indem jede Teilfrage beantwortet wird. In jedem Schritt sammeln externe Retrieval-Systeme Kandidatenbeweise, die dann durch unsicherheitsbewusstes Beschneiden durch das LLM verfeinert werden. Schließlich wird der Kontext für das LLM-Denken optimiert, indem die aus den Teilfragenantworten gewonnenen partiellen Denkpfade organisiert und neu angeordnet werden. Experimente mit drei bekannten Datensätzen zeigen, dass ProgRAG bestehende Baselines im Multi-Hop-KGQA übertrifft und eine verbesserte Zuverlässigkeit und Denkqualität bietet.

English

Large Language Models (LLMs) demonstrate strong reasoning capabilities but struggle with hallucinations and limited transparency. Recently, KG-enhanced LLMs that integrate knowledge graphs (KGs) have been shown to improve reasoning performance, particularly for complex, knowledge-intensive tasks. However, these methods still face significant challenges, including inaccurate retrieval and reasoning failures, often exacerbated by long input contexts that obscure relevant information or by context constructions that struggle to capture the richer logical directions required by different question types. Furthermore, many of these approaches rely on LLMs to directly retrieve evidence from KGs, and to self-assess the sufficiency of this evidence, which often results in premature or incorrect reasoning. To address the retrieval and reasoning failures, we propose ProgRAG, a multi-hop knowledge graph question answering (KGQA) framework that decomposes complex questions into sub-questions, and progressively extends partial reasoning paths by answering each sub-question. At each step, external retrievers gather candidate evidence, which is then refined through uncertainty-aware pruning by the LLM. Finally, the context for LLM reasoning is optimized by organizing and rearranging the partial reasoning paths obtained from the sub-question answers. Experiments on three well-known datasets demonstrate that ProgRAG outperforms existing baselines in multi-hop KGQA, offering improved reliability and reasoning quality.

ProgRAG: Halluzinationsresistenter progressiver Abruf und Schlussfolgerung über Wissensgraphen

ProgRAG: Hallucination-Resistant Progressive Retrieval and Reasoning over Knowledge Graphs

Zusammenfassung

Support