Deliberação sobre Priores: Raciocínio Confiável de Modelos de Linguagem de Grande Escala em Grafos de Conhecimento

Deliberation on Priors: Trustworthy Reasoning of Large Language Models on Knowledge Graphs

May 21, 2025

Autores: Jie Ma, Ning Qu, Zhitao Gao, Rui Xing, Jun Liu, Hongbin Pei, Jiang Xie, Linyun Song, Pinghui Wang, Jing Tao, Zhou Su

cs.AI

Resumo

A geração aumentada por recuperação baseada em grafos de conhecimento busca mitigar alucinações em Modelos de Linguagem de Grande Escala (LLMs) causadas por conhecimento insuficiente ou desatualizado. No entanto, os métodos existentes frequentemente falham em explorar completamente o conhecimento prévio incorporado em grafos de conhecimento (KGs), particularmente sua informação estrutural e restrições explícitas ou implícitas. A primeira pode melhorar a fidelidade do raciocínio dos LLMs, enquanto a segunda pode aumentar a confiabilidade da geração de respostas. Motivados por isso, propomos um framework de raciocínio confiável, denominado Deliberação sobre Prioris (DP), que utiliza suficientemente os prioris contidos em KGs. Especificamente, o DP adota uma estratégia progressiva de destilação de conhecimento que integra prioris estruturais nos LLMs por meio de uma combinação de ajuste fino supervisionado e otimização de Kahneman-Tversky, melhorando assim a fidelidade da geração de caminhos de relação. Além disso, nosso framework emprega uma estratégia de introspecção de raciocínio, que orienta os LLMs a realizar uma verificação refinada de raciocínio com base em prioris de restrição extraídos, garantindo a confiabilidade da geração de respostas. Experimentos extensivos em três conjuntos de dados de referência demonstram que o DP alcança um novo desempenho de ponta, especialmente uma melhoria de 13% no Hit@1 no conjunto de dados ComplexWebQuestions, e gera respostas altamente confiáveis. Também realizamos várias análises para verificar sua flexibilidade e praticidade. O código está disponível em https://github.com/reml-group/Deliberation-on-Priors.

English

Knowledge graph-based retrieval-augmented generation seeks to mitigate hallucinations in Large Language Models (LLMs) caused by insufficient or outdated knowledge. However, existing methods often fail to fully exploit the prior knowledge embedded in knowledge graphs (KGs), particularly their structural information and explicit or implicit constraints. The former can enhance the faithfulness of LLMs' reasoning, while the latter can improve the reliability of response generation. Motivated by these, we propose a trustworthy reasoning framework, termed Deliberation over Priors (DP), which sufficiently utilizes the priors contained in KGs. Specifically, DP adopts a progressive knowledge distillation strategy that integrates structural priors into LLMs through a combination of supervised fine-tuning and Kahneman-Tversky optimization, thereby improving the faithfulness of relation path generation. Furthermore, our framework employs a reasoning-introspection strategy, which guides LLMs to perform refined reasoning verification based on extracted constraint priors, ensuring the reliability of response generation. Extensive experiments on three benchmark datasets demonstrate that DP achieves new state-of-the-art performance, especially a Hit@1 improvement of 13% on the ComplexWebQuestions dataset, and generates highly trustworthy responses. We also conduct various analyses to verify its flexibility and practicality. The code is available at https://github.com/reml-group/Deliberation-on-Priors.