事前分布に関する考察：知識グラフにおける大規模言語モデルの信頼性のある推論

Deliberation on Priors: Trustworthy Reasoning of Large Language Models on Knowledge Graphs

May 21, 2025

著者: Jie Ma, Ning Qu, Zhitao Gao, Rui Xing, Jun Liu, Hongbin Pei, Jiang Xie, Linyun Song, Pinghui Wang, Jing Tao, Zhou Su

cs.AI

要旨

知識グラフに基づく検索拡張生成は、大規模言語モデル（LLM）における知識不足や陳腐化に起因する虚構（ハルシネーション）を軽減することを目指しています。しかし、既存の手法では、知識グラフ（KG）に埋め込まれた事前知識、特にその構造情報や明示的・暗示的な制約を十分に活用できていないことが多いです。前者はLLMの推論の信頼性を高めることができ、後者は応答生成の信頼性を向上させることができます。これらの動機から、我々はKGに含まれる事前知識を十分に活用する信頼性の高い推論フレームワーク「Deliberation over Priors（DP）」を提案します。具体的には、DPは構造的な事前知識を教師あり微調整とカーネマン・トヴェルスキー最適化を組み合わせてLLMに統合する漸進的な知識蒸留戦略を採用し、関係パス生成の信頼性を向上させます。さらに、我々のフレームワークは、抽出された制約の事前知識に基づいてLLMに洗練された推論検証を実行させる推論内省戦略を採用し、応答生成の信頼性を確保します。3つのベンチマークデータセットでの大規模な実験により、DPが新しい最先端の性能を達成し、特にComplexWebQuestionsデータセットでHit@1が13%向上し、非常に信頼性の高い応答を生成することが示されました。また、その柔軟性と実用性を検証するための様々な分析も行いました。コードはhttps://github.com/reml-group/Deliberation-on-Priorsで公開されています。

English

Knowledge graph-based retrieval-augmented generation seeks to mitigate hallucinations in Large Language Models (LLMs) caused by insufficient or outdated knowledge. However, existing methods often fail to fully exploit the prior knowledge embedded in knowledge graphs (KGs), particularly their structural information and explicit or implicit constraints. The former can enhance the faithfulness of LLMs' reasoning, while the latter can improve the reliability of response generation. Motivated by these, we propose a trustworthy reasoning framework, termed Deliberation over Priors (DP), which sufficiently utilizes the priors contained in KGs. Specifically, DP adopts a progressive knowledge distillation strategy that integrates structural priors into LLMs through a combination of supervised fine-tuning and Kahneman-Tversky optimization, thereby improving the faithfulness of relation path generation. Furthermore, our framework employs a reasoning-introspection strategy, which guides LLMs to perform refined reasoning verification based on extracted constraint priors, ensuring the reliability of response generation. Extensive experiments on three benchmark datasets demonstrate that DP achieves new state-of-the-art performance, especially a Hit@1 improvement of 13% on the ComplexWebQuestions dataset, and generates highly trustworthy responses. We also conduct various analyses to verify its flexibility and practicality. The code is available at https://github.com/reml-group/Deliberation-on-Priors.