GKG-LLM: 汎用知識グラフ構築のための統合フレームワーク

GKG-LLM: A Unified Framework for Generalized Knowledge Graph Construction

March 14, 2025

著者: Jian Zhang, Bifan Wei, Shihao Qi, haiping Zhu, Jun Liu, Qika Lin

cs.AI

要旨

汎用知識グラフ（Generalized Knowledge Graph, GKG）の構築は、知識グラフ、イベント知識グラフ、常識知識グラフを含むものであり、様々な自然言語処理タスクの基盤となる。現在の研究では、これらのグラフを個別に構築するのが一般的であり、全体的な洞察や、計算リソースや使用の観点で有益となる可能性のある統一化を見落としている。しかし、GKGの統一フレームワークを開発する上での主要な課題は、タスク固有の差異から生じる障害である。本研究では、この課題に対処するために、汎用知識グラフを構築するための統一フレームワークを提案する。まず、3種類のグラフにわたる29のデータセットから15のサブタスクのデータを収集し、それらをインサンプル、カウンタータスク、および分布外（OOD）データに分類する。次に、3段階のカリキュラム学習によるファインチューニングフレームワークを提案し、3種類のグラフからの知識を大規模言語モデルに反復的に注入する。大規模な実験により、提案モデルが、ドメイン内、OOD、およびカウンタータスクデータにわたる全ての3種類のグラフの構築を改善することが示された。

English

The construction of Generalized Knowledge Graph (GKG), including knowledge graph, event knowledge graph and commonsense knowledge graph, is fundamental for various natural language processing tasks. Current studies typically construct these types of graph separately, overlooking holistic insights and potential unification that could be beneficial in computing resources and usage perspectives. However, a key challenge in developing a unified framework for GKG is obstacles arising from task-specific differences. In this study, we propose a unified framework for constructing generalized knowledge graphs to address this challenge. First, we collect data from 15 sub-tasks in 29 datasets across the three types of graphs, categorizing them into in-sample, counter-task, and out-of-distribution (OOD) data. Then, we propose a three-stage curriculum learning fine-tuning framework, by iteratively injecting knowledge from the three types of graphs into the Large Language Models. Extensive experiments show that our proposed model improves the construction of all three graph types across in-domain, OOD and counter-task data.