Overweging van Priors: Betrouwbare Redenering van Grote Taalmodellen op Kennisgrafen

Deliberation on Priors: Trustworthy Reasoning of Large Language Models on Knowledge Graphs

May 21, 2025

Auteurs: Jie Ma, Ning Qu, Zhitao Gao, Rui Xing, Jun Liu, Hongbin Pei, Jiang Xie, Linyun Song, Pinghui Wang, Jing Tao, Zhou Su

cs.AI

Samenvatting

Knowledge graph-gebaseerde retrieval-augmented generation streeft ernaar hallucinaties in Large Language Models (LLMs) te verminderen die worden veroorzaakt door onvoldoende of verouderde kennis. Bestaande methoden slagen er echter vaak niet in om de voorkennis die is ingebed in knowledge graphs (KGs) volledig te benutten, met name hun structurele informatie en expliciete of impliciete beperkingen. De eerste kan de betrouwbaarheid van de redenering van LLMs verbeteren, terwijl de laatste de betrouwbaarheid van responsgeneratie kan vergroten. Gemotiveerd door deze inzichten stellen we een betrouwbaar redeneerkader voor, genaamd Deliberation over Priors (DP), dat de voorkennis in KGs optimaal benut. Specifiek hanteert DP een progressieve kennisdistillatiestrategie die structurele voorkennis integreert in LLMs via een combinatie van supervised fine-tuning en Kahneman-Tversky optimalisatie, waardoor de betrouwbaarheid van relatiepadgeneratie wordt verbeterd. Bovendien maakt ons framework gebruik van een redeneer-introspectiestrategie, die LLMs begeleidt bij het uitvoeren van verfijnde redeneerverificatie op basis van geëxtraheerde beperkingskennis, wat de betrouwbaarheid van responsgeneratie waarborgt. Uitgebreide experimenten op drie benchmarkdatasets tonen aan dat DP nieuwe state-of-the-art prestaties bereikt, met name een Hit@1-verbetering van 13% op de ComplexWebQuestions-dataset, en zeer betrouwbare responsen genereert. We voeren ook diverse analyses uit om de flexibiliteit en praktische bruikbaarheid ervan te verifiëren. De code is beschikbaar op https://github.com/reml-group/Deliberation-on-Priors.

English

Knowledge graph-based retrieval-augmented generation seeks to mitigate hallucinations in Large Language Models (LLMs) caused by insufficient or outdated knowledge. However, existing methods often fail to fully exploit the prior knowledge embedded in knowledge graphs (KGs), particularly their structural information and explicit or implicit constraints. The former can enhance the faithfulness of LLMs' reasoning, while the latter can improve the reliability of response generation. Motivated by these, we propose a trustworthy reasoning framework, termed Deliberation over Priors (DP), which sufficiently utilizes the priors contained in KGs. Specifically, DP adopts a progressive knowledge distillation strategy that integrates structural priors into LLMs through a combination of supervised fine-tuning and Kahneman-Tversky optimization, thereby improving the faithfulness of relation path generation. Furthermore, our framework employs a reasoning-introspection strategy, which guides LLMs to perform refined reasoning verification based on extracted constraint priors, ensuring the reliability of response generation. Extensive experiments on three benchmark datasets demonstrate that DP achieves new state-of-the-art performance, especially a Hit@1 improvement of 13% on the ComplexWebQuestions dataset, and generates highly trustworthy responses. We also conduct various analyses to verify its flexibility and practicality. The code is available at https://github.com/reml-group/Deliberation-on-Priors.