Riflessione sui Priori: Ragionamento Affidabile dei Modelli Linguistici di Grande Scala sui Grafi della Conoscenza

Deliberation on Priors: Trustworthy Reasoning of Large Language Models on Knowledge Graphs

May 21, 2025

Autori: Jie Ma, Ning Qu, Zhitao Gao, Rui Xing, Jun Liu, Hongbin Pei, Jiang Xie, Linyun Song, Pinghui Wang, Jing Tao, Zhou Su

cs.AI

Abstract

La generazione aumentata dal recupero basata su grafi di conoscenza mira a mitigare le allucinazioni nei Modelli Linguistici di Grande Dimensione (LLMs) causate da conoscenze insufficienti o obsolete. Tuttavia, i metodi esistenti spesso non sfruttano appieno la conoscenza pregressa incorporata nei grafi di conoscenza (KGs), in particolare le loro informazioni strutturali e i vincoli espliciti o impliciti. Le prime possono migliorare la fedeltà del ragionamento degli LLMs, mentre i secondi possono aumentare l'affidabilità della generazione delle risposte. Motivati da ciò, proponiamo un framework di ragionamento affidabile, denominato Deliberation over Priors (DP), che utilizza in modo sufficiente le conoscenze pregresse contenute nei KGs. Nello specifico, DP adotta una strategia progressiva di distillazione della conoscenza che integra le conoscenze strutturali negli LLMs attraverso una combinazione di fine-tuning supervisionato e ottimizzazione di Kahneman-Tversky, migliorando così la fedeltà della generazione dei percorsi relazionali. Inoltre, il nostro framework impiega una strategia di ragionamento-introspezione, che guida gli LLMs a eseguire una verifica raffinata del ragionamento basata sui vincoli estratti, garantendo l'affidabilità della generazione delle risposte. Esperimenti estesi su tre dataset di benchmark dimostrano che DP raggiunge nuove prestazioni all'avanguardia, in particolare un miglioramento del 13% su Hit@1 nel dataset ComplexWebQuestions, e genera risposte altamente affidabili. Abbiamo anche condotto varie analisi per verificarne la flessibilità e la praticità. Il codice è disponibile all'indirizzo https://github.com/reml-group/Deliberation-on-Priors.

English

Knowledge graph-based retrieval-augmented generation seeks to mitigate hallucinations in Large Language Models (LLMs) caused by insufficient or outdated knowledge. However, existing methods often fail to fully exploit the prior knowledge embedded in knowledge graphs (KGs), particularly their structural information and explicit or implicit constraints. The former can enhance the faithfulness of LLMs' reasoning, while the latter can improve the reliability of response generation. Motivated by these, we propose a trustworthy reasoning framework, termed Deliberation over Priors (DP), which sufficiently utilizes the priors contained in KGs. Specifically, DP adopts a progressive knowledge distillation strategy that integrates structural priors into LLMs through a combination of supervised fine-tuning and Kahneman-Tversky optimization, thereby improving the faithfulness of relation path generation. Furthermore, our framework employs a reasoning-introspection strategy, which guides LLMs to perform refined reasoning verification based on extracted constraint priors, ensuring the reliability of response generation. Extensive experiments on three benchmark datasets demonstrate that DP achieves new state-of-the-art performance, especially a Hit@1 improvement of 13% on the ComplexWebQuestions dataset, and generates highly trustworthy responses. We also conduct various analyses to verify its flexibility and practicality. The code is available at https://github.com/reml-group/Deliberation-on-Priors.