BYOKG-RAG: Recuperação de Grafos com Estratégias Múltiplas para Resposta a Perguntas em Grafos de Conhecimento

BYOKG-RAG: Multi-Strategy Graph Retrieval for Knowledge Graph Question Answering

July 5, 2025

Autores: Costas Mavromatis, Soji Adeshina, Vassilis N. Ioannidis, Zhen Han, Qi Zhu, Ian Robinson, Bryan Thompson, Huzefa Rangwala, George Karypis

cs.AI

Resumo

A resposta a perguntas em grafos de conhecimento (KGQA) apresenta desafios significativos devido às variações estruturais e semânticas entre os grafos de entrada. Trabalhos existentes dependem de agentes baseados em Modelos de Linguagem de Grande Escala (LLMs) para a travessia e recuperação de grafos; uma abordagem que é sensível à inicialização da travessia, pois é propensa a erros de vinculação de entidades e pode não generalizar bem para KGs personalizados ("bring-your-own"). Apresentamos o BYOKG-RAG, um framework que aprimora o KGQA ao combinar sinergicamente LLMs com ferramentas especializadas de recuperação de grafos. No BYOKG-RAG, os LLMs geram artefatos críticos do grafo (entidades da pergunta, respostas candidatas, caminhos de raciocínio e consultas OpenCypher), e as ferramentas de grafo vinculam esses artefatos ao KG e recuperam o contexto relevante do grafo. O contexto recuperado permite que o LLM refine iterativamente sua vinculação e recuperação do grafo, antes da geração da resposta final. Ao recuperar o contexto de diferentes ferramentas de grafo, o BYOKG-RAG oferece uma solução mais geral e robusta para QA em KGs personalizados. Por meio de experimentos em cinco benchmarks que abrangem diversos tipos de KGs, demonstramos que o BYOKG-RAG supera o segundo melhor método de recuperação de grafo em 4,5 pontos percentuais, mostrando melhor generalização para KGs personalizados. O framework BYOKG-RAG é de código aberto e está disponível em https://github.com/awslabs/graphrag-toolkit.

English

Knowledge graph question answering (KGQA) presents significant challenges due to the structural and semantic variations across input graphs. Existing works rely on Large Language Model (LLM) agents for graph traversal and retrieval; an approach that is sensitive to traversal initialization, as it is prone to entity linking errors and may not generalize well to custom ("bring-your-own") KGs. We introduce BYOKG-RAG, a framework that enhances KGQA by synergistically combining LLMs with specialized graph retrieval tools. In BYOKG-RAG, LLMs generate critical graph artifacts (question entities, candidate answers, reasoning paths, and OpenCypher queries), and graph tools link these artifacts to the KG and retrieve relevant graph context. The retrieved context enables the LLM to iteratively refine its graph linking and retrieval, before final answer generation. By retrieving context from different graph tools, BYOKG-RAG offers a more general and robust solution for QA over custom KGs. Through experiments on five benchmarks spanning diverse KG types, we demonstrate that BYOKG-RAG outperforms the second-best graph retrieval method by 4.5% points while showing better generalization to custom KGs. BYOKG-RAG framework is open-sourced at https://github.com/awslabs/graphrag-toolkit.