Wissenskette: Integration von Wissensschlussfolgerung in große Sprachmodelle durch Lernen aus Wissensgraphen

Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs

June 30, 2024

Autoren: Yifei Zhang, Xintao Wang, Jiaqing Liang, Sirui Xia, Lida Chen, Yanghua Xiao

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben beeindruckende Fähigkeiten in verschiedenen Aufgaben der natürlichen Sprachverarbeitung (NLP) gezeigt, die zunehmend komplexe Schlussfolgerungen erfordern. Das Wissensschlussfolgern, eine primäre Art des Schlussfolgerns, zielt darauf ab, neues Wissen aus vorhandenem abzuleiten. Während es im Zusammenhang mit Wissensgraphen (KGs) weitreichend untersucht wurde, ist das Wissensschlussfolgern in LLMs noch wenig erforscht. In diesem Artikel stellen wir Chain-of-Knowledge vor, ein umfassendes Rahmenwerk für das Wissensschlussfolgern, einschließlich Methoden sowohl für die Datensatzkonstruktion als auch für das Modelllernen. Für die Datensatzkonstruktion erstellen wir KnowReason durch Regelabbau auf KGs. Beim Modelllernen beobachten wir eine Regelüberanpassung, die durch naives Training verursacht wird. Daher verbessern wir CoK mit einem Trial-and-Error-Mechanismus, der den menschlichen Prozess der internen Wissenserforschung simuliert. Wir führen umfangreiche Experimente mit KnowReason durch. Unsere Ergebnisse zeigen die Wirksamkeit von CoK bei der Verfeinerung von LLMs nicht nur im Wissensschlussfolgern, sondern auch in allgemeinen Schlussfolgerungsbewertungen.

English

Large Language Models (LLMs) have exhibited impressive proficiency in various natural language processing (NLP) tasks, which involve increasingly complex reasoning. Knowledge reasoning, a primary type of reasoning, aims at deriving new knowledge from existing one.While it has been widely studied in the context of knowledge graphs (KGs), knowledge reasoning in LLMs remains underexplored. In this paper, we introduce Chain-of-Knowledge, a comprehensive framework for knowledge reasoning, including methodologies for both dataset construction and model learning. For dataset construction, we create KnowReason via rule mining on KGs. For model learning, we observe rule overfitting induced by naive training. Hence, we enhance CoK with a trial-and-error mechanism that simulates the human process of internal knowledge exploration. We conduct extensive experiments with KnowReason. Our results show the effectiveness of CoK in refining LLMs in not only knowledge reasoning, but also general reasoning benchmarkms.