GKG-LLM: Унифицированная структура для построения обобщённого графа знаний

GKG-LLM: A Unified Framework for Generalized Knowledge Graph Construction

March 14, 2025

Авторы: Jian Zhang, Bifan Wei, Shihao Qi, haiping Zhu, Jun Liu, Qika Lin

cs.AI

Аннотация

Создание Обобщённого Графа Знаний (ОГЗ), включающего граф знаний, граф событий и граф здравого смысла, является основополагающим для различных задач обработки естественного языка. Современные исследования обычно строят эти типы графов отдельно, упуская целостные инсайты и потенциальное объединение, которое могло бы быть полезным с точки зрения вычислительных ресурсов и использования. Однако ключевой проблемой в разработке унифицированной структуры для ОГЗ являются препятствия, возникающие из-за различий, специфичных для задач. В данном исследовании мы предлагаем унифицированную структуру для построения обобщённых графов знаний, чтобы решить эту проблему. Сначала мы собираем данные из 15 подзадач в 29 наборах данных, охватывающих три типа графов, классифицируя их на внутривыборочные, контрзадачные и данные вне распределения (OOD). Затем мы предлагаем трёхэтапную структуру тонкой настройки с использованием учебного плана, последовательно внедряя знания из трёх типов графов в крупные языковые модели. Многочисленные эксперименты показывают, что наша предложенная модель улучшает построение всех трёх типов графов на внутридоменных, OOD и контрзадачных данных.

English

The construction of Generalized Knowledge Graph (GKG), including knowledge graph, event knowledge graph and commonsense knowledge graph, is fundamental for various natural language processing tasks. Current studies typically construct these types of graph separately, overlooking holistic insights and potential unification that could be beneficial in computing resources and usage perspectives. However, a key challenge in developing a unified framework for GKG is obstacles arising from task-specific differences. In this study, we propose a unified framework for constructing generalized knowledge graphs to address this challenge. First, we collect data from 15 sub-tasks in 29 datasets across the three types of graphs, categorizing them into in-sample, counter-task, and out-of-distribution (OOD) data. Then, we propose a three-stage curriculum learning fine-tuning framework, by iteratively injecting knowledge from the three types of graphs into the Large Language Models. Extensive experiments show that our proposed model improves the construction of all three graph types across in-domain, OOD and counter-task data.