Überlegungen zu Priors: Vertrauenswürdiges Schließen großer Sprachmodelle auf Wissensgraphen

Deliberation on Priors: Trustworthy Reasoning of Large Language Models on Knowledge Graphs

May 21, 2025

Autoren: Jie Ma, Ning Qu, Zhitao Gao, Rui Xing, Jun Liu, Hongbin Pei, Jiang Xie, Linyun Song, Pinghui Wang, Jing Tao, Zhou Su

cs.AI

Zusammenfassung

Wissensgraphen-basierte, retrieval-augmentierte Generierung zielt darauf ab, Halluzinationen in großen Sprachmodellen (LLMs), die durch unzureichendes oder veraltetes Wissen verursacht werden, zu reduzieren. Bisherige Methoden schöpfen jedoch oft das in Wissensgraphen (KGs) enthaltene Vorwissen nicht vollständig aus, insbesondere deren strukturelle Informationen sowie explizite oder implizite Einschränkungen. Erstere können die Zuverlässigkeit der Schlussfolgerungen von LLMs verbessern, während Letztere die Verlässlichkeit der Antwortgenerierung erhöhen können. Motiviert durch diese Erkenntnisse schlagen wir ein vertrauenswürdiges Schlussfolgerungsframework vor, genannt Deliberation over Priors (DP), das die in KGs enthaltenen Vorinformationen umfassend nutzt. Konkret verwendet DP eine progressive Wissensdestillationsstrategie, die strukturelle Vorinformationen durch eine Kombination aus überwachtem Feinabstimmen und Kahneman-Tversky-Optimierung in LLMs integriert, wodurch die Zuverlässigkeit der Relationenpfadgenerierung verbessert wird. Darüber hinaus setzt unser Framework eine Reasoning-Introspection-Strategie ein, die LLMs dazu anleitet, verfeinerte Schlussfolgerungsüberprüfungen auf Basis extrahierter Einschränkungsvorinformationen durchzuführen, um die Verlässlichkeit der Antwortgenerierung sicherzustellen. Umfangreiche Experimente auf drei Benchmark-Datensätzen zeigen, dass DP neue Spitzenleistungen erzielt, insbesondere eine Verbesserung von 13 % bei Hit@1 auf dem ComplexWebQuestions-Datensatz, und hochgradig vertrauenswürdige Antworten generiert. Wir führen zudem verschiedene Analysen durch, um die Flexibilität und Praktikabilität zu bestätigen. Der Code ist verfügbar unter https://github.com/reml-group/Deliberation-on-Priors.

English

Knowledge graph-based retrieval-augmented generation seeks to mitigate hallucinations in Large Language Models (LLMs) caused by insufficient or outdated knowledge. However, existing methods often fail to fully exploit the prior knowledge embedded in knowledge graphs (KGs), particularly their structural information and explicit or implicit constraints. The former can enhance the faithfulness of LLMs' reasoning, while the latter can improve the reliability of response generation. Motivated by these, we propose a trustworthy reasoning framework, termed Deliberation over Priors (DP), which sufficiently utilizes the priors contained in KGs. Specifically, DP adopts a progressive knowledge distillation strategy that integrates structural priors into LLMs through a combination of supervised fine-tuning and Kahneman-Tversky optimization, thereby improving the faithfulness of relation path generation. Furthermore, our framework employs a reasoning-introspection strategy, which guides LLMs to perform refined reasoning verification based on extracted constraint priors, ensuring the reliability of response generation. Extensive experiments on three benchmark datasets demonstrate that DP achieves new state-of-the-art performance, especially a Hit@1 improvement of 13% on the ComplexWebQuestions dataset, and generates highly trustworthy responses. We also conduct various analyses to verify its flexibility and practicality. The code is available at https://github.com/reml-group/Deliberation-on-Priors.