Réflexion sur les a priori : Raisonnement fiable des grands modèles de langage sur les graphes de connaissances

Deliberation on Priors: Trustworthy Reasoning of Large Language Models on Knowledge Graphs

May 21, 2025

Auteurs: Jie Ma, Ning Qu, Zhitao Gao, Rui Xing, Jun Liu, Hongbin Pei, Jiang Xie, Linyun Song, Pinghui Wang, Jing Tao, Zhou Su

cs.AI

Résumé

La génération augmentée par récupération basée sur les graphes de connaissances vise à atténuer les hallucinations dans les grands modèles de langage (LLMs) causées par des connaissances insuffisantes ou obsolètes. Cependant, les méthodes existantes échouent souvent à exploiter pleinement les connaissances préalables intégrées dans les graphes de connaissances (KGs), en particulier leurs informations structurelles et leurs contraintes explicites ou implicites. Les premières peuvent améliorer la fidélité du raisonnement des LLMs, tandis que les secondes peuvent accroître la fiabilité de la génération des réponses. Motivés par ces observations, nous proposons un cadre de raisonnement fiable, appelé Deliberation over Priors (DP), qui utilise de manière optimale les connaissances préalables contenues dans les KGs. Plus précisément, DP adopte une stratégie de distillation progressive des connaissances qui intègre les informations structurelles dans les LLMs grâce à une combinaison de fine-tuning supervisé et d'optimisation de type Kahneman-Tversky, améliorant ainsi la fidélité de la génération des chemins relationnels. En outre, notre cadre utilise une stratégie de raisonnement-introspection, qui guide les LLMs à effectuer une vérification raffinée du raisonnement basée sur les contraintes extraites, garantissant la fiabilité de la génération des réponses. Des expériences approfondies sur trois ensembles de données de référence montrent que DP atteint de nouvelles performances de pointe, notamment une amélioration de 13% en Hit@1 sur le dataset ComplexWebQuestions, et génère des réponses hautement fiables. Nous menons également diverses analyses pour vérifier sa flexibilité et sa praticabilité. Le code est disponible à l'adresse https://github.com/reml-group/Deliberation-on-Priors.

English

Knowledge graph-based retrieval-augmented generation seeks to mitigate hallucinations in Large Language Models (LLMs) caused by insufficient or outdated knowledge. However, existing methods often fail to fully exploit the prior knowledge embedded in knowledge graphs (KGs), particularly their structural information and explicit or implicit constraints. The former can enhance the faithfulness of LLMs' reasoning, while the latter can improve the reliability of response generation. Motivated by these, we propose a trustworthy reasoning framework, termed Deliberation over Priors (DP), which sufficiently utilizes the priors contained in KGs. Specifically, DP adopts a progressive knowledge distillation strategy that integrates structural priors into LLMs through a combination of supervised fine-tuning and Kahneman-Tversky optimization, thereby improving the faithfulness of relation path generation. Furthermore, our framework employs a reasoning-introspection strategy, which guides LLMs to perform refined reasoning verification based on extracted constraint priors, ensuring the reliability of response generation. Extensive experiments on three benchmark datasets demonstrate that DP achieves new state-of-the-art performance, especially a Hit@1 improvement of 13% on the ComplexWebQuestions dataset, and generates highly trustworthy responses. We also conduct various analyses to verify its flexibility and practicality. The code is available at https://github.com/reml-group/Deliberation-on-Priors.