Rappresentazione quantizzata auto-supervisionata per integrare senza soluzione di continuità i grafi di conoscenza con grandi modelli linguistici.

Self-supervised Quantized Representation for Seamlessly Integrating Knowledge Graphs with Large Language Models

January 30, 2025

Autori: Qika Lin, Tianzhe Zhao, Kai He, Zhen Peng, Fangzhi Xu, Ling Huang, Jingying Ma, Mengling Feng

cs.AI

Abstract

A causa della presenza del divario naturale tra le strutture del Grafo della Conoscenza (KG) e il linguaggio naturale, l'integrazione efficace delle informazioni strutturali olistiche dei KG con i Grandi Modelli Linguistici (LLM) è emersa come una questione significativa. A tal fine, proponiamo un framework a due fasi per apprendere e applicare codici quantizzati per ciascuna entità, mirando all'integrazione senza soluzione di continuità dei KG con i LLM. In primo luogo, viene proposto un metodo di rappresentazione quantizzata auto-supervisionata (SSQR) per comprimere sia la conoscenza strutturale che semantica dei KG in codici discreti (cioè, token) che allineano il formato delle frasi del linguaggio. Progettiamo inoltre dati di istruzioni KG-following considerando questi codici appresi come caratteristiche da inserire direttamente nei LLM, ottenendo così un'integrazione senza soluzione di continuità. I risultati sperimentali dimostrano che SSQR supera i metodi quantizzati non supervisionati esistenti, producendo codici più distinguibili. Inoltre, i modelli LLaMA2 e LLaMA3.1 ottimizzati in seguito hanno prestazioni superiori nelle previsioni di collegamenti KG e nelle classificazioni di triple, utilizzando solo 16 token per entità anziché migliaia nei metodi di prompting convenzionali.

English

Due to the presence of the natural gap between Knowledge Graph (KG) structures and the natural language, the effective integration of holistic structural information of KGs with Large Language Models (LLMs) has emerged as a significant question. To this end, we propose a two-stage framework to learn and apply quantized codes for each entity, aiming for the seamless integration of KGs with LLMs. Firstly, a self-supervised quantized representation (SSQR) method is proposed to compress both KG structural and semantic knowledge into discrete codes (\ie, tokens) that align the format of language sentences. We further design KG instruction-following data by viewing these learned codes as features to directly input to LLMs, thereby achieving seamless integration. The experiment results demonstrate that SSQR outperforms existing unsupervised quantized methods, producing more distinguishable codes. Further, the fine-tuned LLaMA2 and LLaMA3.1 also have superior performance on KG link prediction and triple classification tasks, utilizing only 16 tokens per entity instead of thousands in conventional prompting methods.