GKG-LLM: Um Framework Unificado para Construção de Grafos de Conhecimento Generalizados

GKG-LLM: A Unified Framework for Generalized Knowledge Graph Construction

March 14, 2025

Autores: Jian Zhang, Bifan Wei, Shihao Qi, haiping Zhu, Jun Liu, Qika Lin

cs.AI

Resumo

A construção do Grafo de Conhecimento Generalizado (GKG), incluindo grafo de conhecimento, grafo de conhecimento de eventos e grafo de conhecimento de senso comum, é fundamental para diversas tarefas de processamento de linguagem natural. Estudos atuais geralmente constroem esses tipos de grafo separadamente, negligenciando insights holísticos e uma potencial unificação que poderia ser benéfica em termos de recursos computacionais e perspectivas de uso. No entanto, um desafio chave no desenvolvimento de uma estrutura unificada para o GKG são os obstáculos decorrentes das diferenças específicas de cada tarefa. Neste estudo, propomos uma estrutura unificada para a construção de grafos de conhecimento generalizados para abordar esse desafio. Primeiro, coletamos dados de 15 subtarefas em 29 conjuntos de dados abrangendo os três tipos de grafos, categorizando-os em dados in-sample, counter-task e fora da distribuição (OOD). Em seguida, propomos uma estrutura de ajuste fino de aprendizado curricular em três estágios, injetando iterativamente conhecimento dos três tipos de grafos em Modelos de Linguagem de Grande Escala. Experimentos extensivos mostram que nosso modelo proposto melhora a construção de todos os três tipos de grafos em dados in-domain, OOD e counter-task.

English

The construction of Generalized Knowledge Graph (GKG), including knowledge graph, event knowledge graph and commonsense knowledge graph, is fundamental for various natural language processing tasks. Current studies typically construct these types of graph separately, overlooking holistic insights and potential unification that could be beneficial in computing resources and usage perspectives. However, a key challenge in developing a unified framework for GKG is obstacles arising from task-specific differences. In this study, we propose a unified framework for constructing generalized knowledge graphs to address this challenge. First, we collect data from 15 sub-tasks in 29 datasets across the three types of graphs, categorizing them into in-sample, counter-task, and out-of-distribution (OOD) data. Then, we propose a three-stage curriculum learning fine-tuning framework, by iteratively injecting knowledge from the three types of graphs into the Large Language Models. Extensive experiments show that our proposed model improves the construction of all three graph types across in-domain, OOD and counter-task data.