Chain-of-Knowledge: 知識グラフからの学習による大規模言語モデルへの知識推論の統合

Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs

June 30, 2024

著者: Yifei Zhang, Xintao Wang, Jiaqing Liang, Sirui Xia, Lida Chen, Yanghua Xiao

cs.AI

要旨

大規模言語モデル（LLM）は、自然言語処理（NLP）タスクにおいて、ますます複雑化する推論を含む様々な課題で印象的な能力を発揮しています。知識推論は主要な推論の一つであり、既存の知識から新しい知識を導き出すことを目的としています。知識グラフ（KG）の文脈では広く研究されてきましたが、LLMにおける知識推論はまだ十分に探究されていません。本論文では、データセット構築とモデル学習の両方の方法論を含む、知識推論のための包括的なフレームワークであるChain-of-Knowledge（CoK）を紹介します。データセット構築においては、KG上のルールマイニングを通じてKnowReasonを作成します。モデル学習においては、単純な訓練によって引き起こされるルールの過学習を観察しました。そこで、人間の内部知識探索プロセスを模倣する試行錯誤メカニズムをCoKに組み込みました。KnowReasonを用いた広範な実験を行い、CoKが知識推論だけでなく一般的な推論ベンチマークにおいてもLLMを改善する効果を示す結果を得ました。

English

Large Language Models (LLMs) have exhibited impressive proficiency in various natural language processing (NLP) tasks, which involve increasingly complex reasoning. Knowledge reasoning, a primary type of reasoning, aims at deriving new knowledge from existing one.While it has been widely studied in the context of knowledge graphs (KGs), knowledge reasoning in LLMs remains underexplored. In this paper, we introduce Chain-of-Knowledge, a comprehensive framework for knowledge reasoning, including methodologies for both dataset construction and model learning. For dataset construction, we create KnowReason via rule mining on KGs. For model learning, we observe rule overfitting induced by naive training. Hence, we enhance CoK with a trial-and-error mechanism that simulates the human process of internal knowledge exploration. We conduct extensive experiments with KnowReason. Our results show the effectiveness of CoK in refining LLMs in not only knowledge reasoning, but also general reasoning benchmarkms.