BYOKG-RAG: Multi-Strategie Grafiekretrieval voor Vraagbeantwoording met Kennisgrafieken

BYOKG-RAG: Multi-Strategy Graph Retrieval for Knowledge Graph Question Answering

July 5, 2025

Auteurs: Costas Mavromatis, Soji Adeshina, Vassilis N. Ioannidis, Zhen Han, Qi Zhu, Ian Robinson, Bryan Thompson, Huzefa Rangwala, George Karypis

cs.AI

Samenvatting

Knowledge graph question answering (KGQA) brengt aanzienlijke uitdagingen met zich mee vanwege de structurele en semantische variaties in invoergrafieken. Bestaande werken vertrouwen op Large Language Model (LLM)-agentschappen voor grafiekdoorlopen en -retrieval; een benadering die gevoelig is voor de initialisatie van het doorlopen, omdat deze vatbaar is voor entiteitskoppelingsfouten en mogelijk niet goed generaliseert naar aangepaste ("bring-your-own") KG's. Wij introduceren BYOKG-RAG, een raamwerk dat KGQA verbetert door LLM's synergetisch te combineren met gespecialiseerde grafiekretrievaltools. In BYOKG-RAG genereren LLM's cruciale grafiekartefacten (vraagentiteiten, kandidaatantwoorden, redeneerpaden en OpenCypher-query's), en koppelen grafiektools deze artefacten aan de KG en halen relevante grafiekcontext op. De opgehaalde context stelt de LLM in staat om iteratief zijn grafieklinking en -retrieval te verfijnen, voordat het uiteindelijke antwoord wordt gegenereerd. Door context op te halen uit verschillende grafiektools, biedt BYOKG-RAG een meer algemene en robuuste oplossing voor QA over aangepaste KG's. Door experimenten op vijf benchmarks die diverse KG-types omvatten, tonen we aan dat BYOKG-RAG de op een na beste grafiekretrievalmethode met 4,5 procentpunt overtreft, terwijl het betere generalisatie naar aangepaste KG's laat zien. Het BYOKG-RAG-raamwerk is open-source beschikbaar op https://github.com/awslabs/graphrag-toolkit.

English

Knowledge graph question answering (KGQA) presents significant challenges due to the structural and semantic variations across input graphs. Existing works rely on Large Language Model (LLM) agents for graph traversal and retrieval; an approach that is sensitive to traversal initialization, as it is prone to entity linking errors and may not generalize well to custom ("bring-your-own") KGs. We introduce BYOKG-RAG, a framework that enhances KGQA by synergistically combining LLMs with specialized graph retrieval tools. In BYOKG-RAG, LLMs generate critical graph artifacts (question entities, candidate answers, reasoning paths, and OpenCypher queries), and graph tools link these artifacts to the KG and retrieve relevant graph context. The retrieved context enables the LLM to iteratively refine its graph linking and retrieval, before final answer generation. By retrieving context from different graph tools, BYOKG-RAG offers a more general and robust solution for QA over custom KGs. Through experiments on five benchmarks spanning diverse KG types, we demonstrate that BYOKG-RAG outperforms the second-best graph retrieval method by 4.5% points while showing better generalization to custom KGs. BYOKG-RAG framework is open-sourced at https://github.com/awslabs/graphrag-toolkit.