Самообучаемое квантованное представление для плавного интегрирования графов знаний с большими языковыми моделями

Self-supervised Quantized Representation for Seamlessly Integrating Knowledge Graphs with Large Language Models

January 30, 2025

Авторы: Qika Lin, Tianzhe Zhao, Kai He, Zhen Peng, Fangzhi Xu, Ling Huang, Jingying Ma, Mengling Feng

cs.AI

Аннотация

В связи с наличием естественного разрыва между структурами Графа Знаний (Knowledge Graph, KG) и естественным языком, эффективная интеграция всесторонней структурной информации ГЗ с большими языковыми моделями (Large Language Models, LLMs) стала значительным вопросом. В этой связи мы предлагаем двухэтапную структуру для изучения и применения квантованных кодов для каждой сущности с целью безупречной интеграции ГЗ с LLMs. Во-первых, предлагается метод самообучения квантованного представления (Self-Supervised Quantized Representation, SSQR) для сжатия как структурных, так и семантических знаний ГЗ в дискретные коды (токены), соответствующие формату предложений на языке. Далее мы разрабатываем данные по следованию инструкциям ГЗ, рассматривая эти изученные коды как признаки для прямого ввода в LLMs, что позволяет достичь безупречной интеграции. Результаты экспериментов показывают, что SSQR превосходит существующие методы квантования без учителя, производя более различимые коды. Кроме того, донастройка моделей LLaMA2 и LLaMA3.1 также демонстрирует превосходное качество на задачах предсказания связей и классификации троек в ГЗ, используя всего 16 токенов на сущность вместо тысяч в традиционных методах подсказки.

English

Due to the presence of the natural gap between Knowledge Graph (KG) structures and the natural language, the effective integration of holistic structural information of KGs with Large Language Models (LLMs) has emerged as a significant question. To this end, we propose a two-stage framework to learn and apply quantized codes for each entity, aiming for the seamless integration of KGs with LLMs. Firstly, a self-supervised quantized representation (SSQR) method is proposed to compress both KG structural and semantic knowledge into discrete codes (\ie, tokens) that align the format of language sentences. We further design KG instruction-following data by viewing these learned codes as features to directly input to LLMs, thereby achieving seamless integration. The experiment results demonstrate that SSQR outperforms existing unsupervised quantized methods, producing more distinguishable codes. Further, the fine-tuned LLaMA2 and LLaMA3.1 also have superior performance on KG link prediction and triple classification tasks, utilizing only 16 tokens per entity instead of thousands in conventional prompting methods.