GKG-LLM: 일반화된 지식 그래프 구축을 위한 통합 프레임워크

GKG-LLM: A Unified Framework for Generalized Knowledge Graph Construction

March 14, 2025

저자: Jian Zhang, Bifan Wei, Shihao Qi, haiping Zhu, Jun Liu, Qika Lin

cs.AI

초록

일반화 지식 그래프(Generalized Knowledge Graph, GKG)의 구축은 지식 그래프, 이벤트 지식 그래프, 상식 지식 그래프를 포함하며, 다양한 자연어 처리 작업의 기초가 됩니다. 현재 연구들은 일반적으로 이러한 그래프 유형들을 별도로 구축함으로써 전체적인 통찰과 컴퓨팅 자원 및 사용 관점에서 유익할 수 있는 통합 가능성을 간과하고 있습니다. 그러나 GKG를 위한 통합 프레임워크 개발의 주요 과제는 작업별 차이에서 비롯된 장애물입니다. 본 연구에서는 이러한 과제를 해결하기 위해 일반화 지식 그래프 구축을 위한 통합 프레임워크를 제안합니다. 먼저, 세 가지 그래프 유형에 걸친 29개 데이터셋의 15개 하위 작업에서 데이터를 수집하여 이를 인-샘플(in-sample), 카운터-태스크(counter-task), 분포 외(out-of-distribution, OOD) 데이터로 분류합니다. 그런 다음, 세 가지 그래프 유형의 지식을 대규모 언어 모델(Large Language Models)에 반복적으로 주입하는 세 단계 커리큘럼 학습 미세 조정 프레임워크를 제안합니다. 광범위한 실험을 통해 제안된 모델이 인-도메인, OOD 및 카운터-태스크 데이터에 걸쳐 세 가지 그래프 유형 모두의 구축을 개선함을 보여줍니다.

English

The construction of Generalized Knowledge Graph (GKG), including knowledge graph, event knowledge graph and commonsense knowledge graph, is fundamental for various natural language processing tasks. Current studies typically construct these types of graph separately, overlooking holistic insights and potential unification that could be beneficial in computing resources and usage perspectives. However, a key challenge in developing a unified framework for GKG is obstacles arising from task-specific differences. In this study, we propose a unified framework for constructing generalized knowledge graphs to address this challenge. First, we collect data from 15 sub-tasks in 29 datasets across the three types of graphs, categorizing them into in-sample, counter-task, and out-of-distribution (OOD) data. Then, we propose a three-stage curriculum learning fine-tuning framework, by iteratively injecting knowledge from the three types of graphs into the Large Language Models. Extensive experiments show that our proposed model improves the construction of all three graph types across in-domain, OOD and counter-task data.