ProgRAG: 지식 그래프를 통한 환각 저항적 점진적 검색 및 추론

초록

대형 언어 모델(LLMs)은 강력한 추론 능력을 보이지만, 환각(hallucination)과 제한된 투명성 문제로 어려움을 겪고 있다. 최근 지식 그래프(KGs)를 통합한 KG-강화 LLMs가 복잡하고 지식 집약적인 작업에서 추론 성능을 향상시키는 것으로 나타났다. 그러나 이러한 방법들은 여전히 부정확한 검색과 추론 실패와 같은 상당한 문제에 직면해 있으며, 이는 관련 정보를 흐리게 하는 긴 입력 문맥이나 다양한 질문 유형에 필요한 풍부한 논리적 방향을 포착하지 못하는 문맥 구성으로 인해 더욱 악화되는 경우가 많다. 또한, 이러한 접근법 중 다수는 LLMs가 KGs에서 직접 증거를 검색하고, 이 증거의 충분성을 스스로 평가하도록 의존하는데, 이는 종종 조기 또는 잘못된 추론으로 이어진다. 이러한 검색 및 추론 실패를 해결하기 위해, 우리는 ProgRAG를 제안한다. ProgRAG는 복잡한 질문을 하위 질문으로 분해하고, 각 하위 질문에 답함으로써 부분적 추론 경로를 점진적으로 확장하는 다중 홉 지식 그래프 질의 응답(KGQA) 프레임워크이다. 각 단계에서 외부 검색기는 후보 증거를 수집하며, 이는 LLM에 의해 불확실성 인지 프루닝(uncertainty-aware pruning)을 통해 정제된다. 마지막으로, 하위 질문 답변에서 얻은 부분적 추론 경로를 조직하고 재구성함으로써 LLM 추론을 위한 문맥을 최적화한다. 세 가지 유명한 데이터셋에 대한 실험 결과, ProgRAG는 다중 홉 KGQA에서 기존 베이스라인을 능가하며, 향상된 신뢰성과 추론 품질을 제공하는 것으로 나타났다.

English

Large Language Models (LLMs) demonstrate strong reasoning capabilities but struggle with hallucinations and limited transparency. Recently, KG-enhanced LLMs that integrate knowledge graphs (KGs) have been shown to improve reasoning performance, particularly for complex, knowledge-intensive tasks. However, these methods still face significant challenges, including inaccurate retrieval and reasoning failures, often exacerbated by long input contexts that obscure relevant information or by context constructions that struggle to capture the richer logical directions required by different question types. Furthermore, many of these approaches rely on LLMs to directly retrieve evidence from KGs, and to self-assess the sufficiency of this evidence, which often results in premature or incorrect reasoning. To address the retrieval and reasoning failures, we propose ProgRAG, a multi-hop knowledge graph question answering (KGQA) framework that decomposes complex questions into sub-questions, and progressively extends partial reasoning paths by answering each sub-question. At each step, external retrievers gather candidate evidence, which is then refined through uncertainty-aware pruning by the LLM. Finally, the context for LLM reasoning is optimized by organizing and rearranging the partial reasoning paths obtained from the sub-question answers. Experiments on three well-known datasets demonstrate that ProgRAG outperforms existing baselines in multi-hop KGQA, offering improved reliability and reasoning quality.

ProgRAG: 지식 그래프를 통한 환각 저항적 점진적 검색 및 추론

ProgRAG: Hallucination-Resistant Progressive Retrieval and Reasoning over Knowledge Graphs

초록

Support