Deliberación sobre los Priores: Razonamiento Confiable de Modelos de Lenguaje de Gran Escala en Grafos de Conocimiento

Deliberation on Priors: Trustworthy Reasoning of Large Language Models on Knowledge Graphs

May 21, 2025

Autores: Jie Ma, Ning Qu, Zhitao Gao, Rui Xing, Jun Liu, Hongbin Pei, Jiang Xie, Linyun Song, Pinghui Wang, Jing Tao, Zhou Su

cs.AI

Resumen

La generación aumentada por recuperación basada en grafos de conocimiento busca mitigar las alucinaciones en los Modelos de Lenguaje de Gran Escala (LLMs) causadas por conocimiento insuficiente o desactualizado. Sin embargo, los métodos existentes a menudo no logran explotar completamente el conocimiento previo incrustado en los grafos de conocimiento (KGs), particularmente su información estructural y las restricciones explícitas o implícitas. La primera puede mejorar la fidelidad del razonamiento de los LLMs, mientras que la segunda puede aumentar la confiabilidad en la generación de respuestas. Motivados por esto, proponemos un marco de razonamiento confiable, denominado Deliberación sobre Conocimientos Previos (DP), que utiliza de manera suficiente los conocimientos previos contenidos en los KGs. Específicamente, DP adopta una estrategia progresiva de destilación de conocimiento que integra los conocimientos estructurales previos en los LLMs mediante una combinación de ajuste fino supervisado y optimización Kahneman-Tversky, mejorando así la fidelidad en la generación de rutas de relaciones. Además, nuestro marco emplea una estrategia de razonamiento-introspección, que guía a los LLMs a realizar una verificación refinada del razonamiento basada en las restricciones previas extraídas, asegurando la confiabilidad en la generación de respuestas. Experimentos extensos en tres conjuntos de datos de referencia demuestran que DP alcanza un nuevo rendimiento de vanguardia, especialmente una mejora del 13% en Hit@1 en el conjunto de datos ComplexWebQuestions, y genera respuestas altamente confiables. También realizamos diversos análisis para verificar su flexibilidad y practicidad. El código está disponible en https://github.com/reml-group/Deliberation-on-Priors.

English

Knowledge graph-based retrieval-augmented generation seeks to mitigate hallucinations in Large Language Models (LLMs) caused by insufficient or outdated knowledge. However, existing methods often fail to fully exploit the prior knowledge embedded in knowledge graphs (KGs), particularly their structural information and explicit or implicit constraints. The former can enhance the faithfulness of LLMs' reasoning, while the latter can improve the reliability of response generation. Motivated by these, we propose a trustworthy reasoning framework, termed Deliberation over Priors (DP), which sufficiently utilizes the priors contained in KGs. Specifically, DP adopts a progressive knowledge distillation strategy that integrates structural priors into LLMs through a combination of supervised fine-tuning and Kahneman-Tversky optimization, thereby improving the faithfulness of relation path generation. Furthermore, our framework employs a reasoning-introspection strategy, which guides LLMs to perform refined reasoning verification based on extracted constraint priors, ensuring the reliability of response generation. Extensive experiments on three benchmark datasets demonstrate that DP achieves new state-of-the-art performance, especially a Hit@1 improvement of 13% on the ComplexWebQuestions dataset, and generates highly trustworthy responses. We also conduct various analyses to verify its flexibility and practicality. The code is available at https://github.com/reml-group/Deliberation-on-Priors.