GKG-LLM: Un Framework Unificato per la Costruzione di Grafi di Conoscenza Generalizzati

GKG-LLM: A Unified Framework for Generalized Knowledge Graph Construction

March 14, 2025

Autori: Jian Zhang, Bifan Wei, Shihao Qi, haiping Zhu, Jun Liu, Qika Lin

cs.AI

Abstract

La costruzione del Grafo di Conoscenza Generalizzato (GKG), che include il grafo di conoscenza, il grafo di conoscenza degli eventi e il grafo di conoscenza del senso comune, è fondamentale per vari compiti di elaborazione del linguaggio naturale. Gli studi attuali tipicamente costruiscono questi tipi di grafi separatamente, trascurando intuizioni olistiche e una potenziale unificazione che potrebbe essere vantaggiosa in termini di risorse computazionali e prospettive d'uso. Tuttavia, una sfida chiave nello sviluppo di un framework unificato per il GKG sono gli ostacoli derivanti dalle differenze specifiche dei compiti. In questo studio, proponiamo un framework unificato per la costruzione di grafi di conoscenza generalizzati per affrontare questa sfida. In primo luogo, raccogliamo dati da 15 sotto-compiti in 29 dataset relativi ai tre tipi di grafi, classificandoli in dati in-campione, dati counter-task e dati fuori distribuzione (OOD). Successivamente, proponiamo un framework di fine-tuning a apprendimento curriculare in tre fasi, iniettando iterativamente conoscenza dai tre tipi di grafi nei Modelli di Linguaggio di Grande Dimensione. Esperimenti estensivi dimostrano che il nostro modello proposto migliora la costruzione di tutti e tre i tipi di grafi su dati in-dominio, OOD e counter-task.

English

The construction of Generalized Knowledge Graph (GKG), including knowledge graph, event knowledge graph and commonsense knowledge graph, is fundamental for various natural language processing tasks. Current studies typically construct these types of graph separately, overlooking holistic insights and potential unification that could be beneficial in computing resources and usage perspectives. However, a key challenge in developing a unified framework for GKG is obstacles arising from task-specific differences. In this study, we propose a unified framework for constructing generalized knowledge graphs to address this challenge. First, we collect data from 15 sub-tasks in 29 datasets across the three types of graphs, categorizing them into in-sample, counter-task, and out-of-distribution (OOD) data. Then, we propose a three-stage curriculum learning fine-tuning framework, by iteratively injecting knowledge from the three types of graphs into the Large Language Models. Extensive experiments show that our proposed model improves the construction of all three graph types across in-domain, OOD and counter-task data.