Cadeia de Conhecimento: Integrando Raciocínio de Conhecimento em Modelos de Linguagem Grandes por Aprendizado a partir de Grafos de Conhecimento

Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs

June 30, 2024

Autores: Yifei Zhang, Xintao Wang, Jiaqing Liang, Sirui Xia, Lida Chen, Yanghua Xiao

cs.AI

Resumo

Grandes Modelos de Linguagem (LLMs) têm demonstrado uma proficiência impressionante em várias tarefas de processamento de linguagem natural (NLP), que envolvem raciocínio cada vez mais complexo. O raciocínio de conhecimento, um tipo primário de raciocínio, tem como objetivo derivar novos conhecimentos a partir de conhecimentos existentes. Embora tenha sido amplamente estudado no contexto de grafos de conhecimento (KGs), o raciocínio de conhecimento em LLMs ainda é pouco explorado. Neste artigo, apresentamos a Cadeia-de-Conhecimento, um framework abrangente para raciocínio de conhecimento, incluindo metodologias tanto para construção de conjuntos de dados quanto para aprendizado de modelos. Para a construção de conjuntos de dados, criamos o KnowReason através da mineração de regras em KGs. Para o aprendizado do modelo, observamos o sobreajuste de regras induzido pelo treinamento ingênuo. Portanto, aprimoramos o CoK com um mecanismo de tentativa e erro que simula o processo humano de exploração interna de conhecimento. Realizamos experimentos extensivos com o KnowReason. Nossos resultados mostram a eficácia do CoK em refinar LLMs não apenas em raciocínio de conhecimento, mas também em benchmarks de raciocínio geral.

English

Large Language Models (LLMs) have exhibited impressive proficiency in various natural language processing (NLP) tasks, which involve increasingly complex reasoning. Knowledge reasoning, a primary type of reasoning, aims at deriving new knowledge from existing one.While it has been widely studied in the context of knowledge graphs (KGs), knowledge reasoning in LLMs remains underexplored. In this paper, we introduce Chain-of-Knowledge, a comprehensive framework for knowledge reasoning, including methodologies for both dataset construction and model learning. For dataset construction, we create KnowReason via rule mining on KGs. For model learning, we observe rule overfitting induced by naive training. Hence, we enhance CoK with a trial-and-error mechanism that simulates the human process of internal knowledge exploration. We conduct extensive experiments with KnowReason. Our results show the effectiveness of CoK in refining LLMs in not only knowledge reasoning, but also general reasoning benchmarkms.