사전 지식에 대한 고찰: 지식 그래프 상에서 대규모 언어 모델의 신뢰할 수 있는 추론

Deliberation on Priors: Trustworthy Reasoning of Large Language Models on Knowledge Graphs

May 21, 2025

저자: Jie Ma, Ning Qu, Zhitao Gao, Rui Xing, Jun Liu, Hongbin Pei, Jiang Xie, Linyun Song, Pinghui Wang, Jing Tao, Zhou Su

cs.AI

초록

지식 그래프 기반 검색 증강 생성은 대규모 언어 모델(LLM)에서 불충분하거나 오래된 지식으로 인해 발생하는 환각 현상을 완화하기 위해 고안되었습니다. 그러나 기존 방법들은 종종 지식 그래프(KG)에 내재된 사전 지식, 특히 구조적 정보와 명시적 또는 암묵적 제약 조건을 충분히 활용하지 못합니다. 전자는 LLM의 추론의 신뢰성을 강화할 수 있으며, 후자는 응답 생성의 신뢰성을 개선할 수 있습니다. 이러한 동기로, 우리는 KG에 포함된 사전 지식을 충분히 활용하는 신뢰할 수 있는 추론 프레임워크인 Deliberation over Priors(DP)를 제안합니다. 구체적으로, DP는 지도 학습 미세 조정과 Kahneman-Tversky 최적화를 결합하여 구조적 사전 지식을 LLM에 통합하는 점진적 지식 증류 전략을 채택함으로써 관계 경로 생성의 신뢰성을 향상시킵니다. 또한, 우리의 프레임워크는 추출된 제약 조건 사전 지식을 기반으로 LLM이 정교한 추론 검증을 수행하도록 유도하는 추론-성찰 전략을 사용하여 응답 생성의 신뢰성을 보장합니다. 세 가지 벤치마크 데이터셋에 대한 광범위한 실험을 통해 DP가 특히 ComplexWebQuestions 데이터셋에서 Hit@1 13%의 향상을 이루며 새로운 최첨단 성능을 달성하고 매우 신뢰할 수 있는 응답을 생성함을 입증했습니다. 또한, 우리는 그 유연성과 실용성을 검증하기 위해 다양한 분석을 수행했습니다. 코드는 https://github.com/reml-group/Deliberation-on-Priors에서 확인할 수 있습니다.

English

Knowledge graph-based retrieval-augmented generation seeks to mitigate hallucinations in Large Language Models (LLMs) caused by insufficient or outdated knowledge. However, existing methods often fail to fully exploit the prior knowledge embedded in knowledge graphs (KGs), particularly their structural information and explicit or implicit constraints. The former can enhance the faithfulness of LLMs' reasoning, while the latter can improve the reliability of response generation. Motivated by these, we propose a trustworthy reasoning framework, termed Deliberation over Priors (DP), which sufficiently utilizes the priors contained in KGs. Specifically, DP adopts a progressive knowledge distillation strategy that integrates structural priors into LLMs through a combination of supervised fine-tuning and Kahneman-Tversky optimization, thereby improving the faithfulness of relation path generation. Furthermore, our framework employs a reasoning-introspection strategy, which guides LLMs to perform refined reasoning verification based on extracted constraint priors, ensuring the reliability of response generation. Extensive experiments on three benchmark datasets demonstrate that DP achieves new state-of-the-art performance, especially a Hit@1 improvement of 13% on the ComplexWebQuestions dataset, and generates highly trustworthy responses. We also conduct various analyses to verify its flexibility and practicality. The code is available at https://github.com/reml-group/Deliberation-on-Priors.