Размышления о априорных данных: Надежные рассуждения крупных языковых моделей на графах знаний

Deliberation on Priors: Trustworthy Reasoning of Large Language Models on Knowledge Graphs

May 21, 2025

Авторы: Jie Ma, Ning Qu, Zhitao Gao, Rui Xing, Jun Liu, Hongbin Pei, Jiang Xie, Linyun Song, Pinghui Wang, Jing Tao, Zhou Su

cs.AI

Аннотация

Генерация, усиленная извлечением на основе графов знаний, направлена на снижение галлюцинаций в больших языковых моделях (LLM), вызванных недостаточными или устаревшими знаниями. Однако существующие методы часто не в полной мере используют предварительные знания, заложенные в графах знаний (KG), особенно их структурную информацию и явные или неявные ограничения. Первое может повысить достоверность рассуждений LLM, а второе — улучшить надежность генерации ответов. Вдохновленные этим, мы предлагаем надежную структуру рассуждений, названную "Обдумывание предварительных данных" (Deliberation over Priors, DP), которая эффективно использует предварительные знания, содержащиеся в KG. В частности, DP применяет стратегию прогрессивной дистилляции знаний, которая интегрирует структурные предварительные данные в LLM через комбинацию контролируемой тонкой настройки и оптимизации по Канеману-Тверски, тем самым повышая достоверность генерации путей отношений. Кроме того, наша структура использует стратегию рассуждения-интроспекции, которая направляет LLM на выполнение уточненной проверки рассуждений на основе извлеченных ограничительных предварительных данных, обеспечивая надежность генерации ответов. Многочисленные эксперименты на трех эталонных наборах данных показывают, что DP достигает новых наилучших результатов, особенно улучшая Hit@1 на 13% в наборе данных ComplexWebQuestions, и генерирует высоконадежные ответы. Мы также проводим различные анализы, чтобы подтвердить гибкость и практичность нашей структуры. Код доступен по адресу https://github.com/reml-group/Deliberation-on-Priors.

English

Knowledge graph-based retrieval-augmented generation seeks to mitigate hallucinations in Large Language Models (LLMs) caused by insufficient or outdated knowledge. However, existing methods often fail to fully exploit the prior knowledge embedded in knowledge graphs (KGs), particularly their structural information and explicit or implicit constraints. The former can enhance the faithfulness of LLMs' reasoning, while the latter can improve the reliability of response generation. Motivated by these, we propose a trustworthy reasoning framework, termed Deliberation over Priors (DP), which sufficiently utilizes the priors contained in KGs. Specifically, DP adopts a progressive knowledge distillation strategy that integrates structural priors into LLMs through a combination of supervised fine-tuning and Kahneman-Tversky optimization, thereby improving the faithfulness of relation path generation. Furthermore, our framework employs a reasoning-introspection strategy, which guides LLMs to perform refined reasoning verification based on extracted constraint priors, ensuring the reliability of response generation. Extensive experiments on three benchmark datasets demonstrate that DP achieves new state-of-the-art performance, especially a Hit@1 improvement of 13% on the ComplexWebQuestions dataset, and generates highly trustworthy responses. We also conduct various analyses to verify its flexibility and practicality. The code is available at https://github.com/reml-group/Deliberation-on-Priors.