Representación Cuantizada Auto-supervisada para Integrar de Forma Transparente Grafos de Conocimiento con Modelos de Lenguaje Grandes

Self-supervised Quantized Representation for Seamlessly Integrating Knowledge Graphs with Large Language Models

January 30, 2025

Autores: Qika Lin, Tianzhe Zhao, Kai He, Zhen Peng, Fangzhi Xu, Ling Huang, Jingying Ma, Mengling Feng

cs.AI

Resumen

Debido a la brecha natural entre las estructuras de los Grafos de Conocimiento (KG) y el lenguaje natural, la integración efectiva de la información estructural holística de los KG con Modelos de Lenguaje Grandes (LLMs) ha surgido como una cuestión significativa. Con este fin, proponemos un marco de dos etapas para aprender y aplicar códigos cuantizados para cada entidad, con el objetivo de lograr la integración perfecta de los KG con los LLMs. En primer lugar, se propone un método de representación cuantizada auto-supervisado (SSQR) para comprimir tanto el conocimiento estructural como semántico de los KG en códigos discretos (es decir, tokens) que se alinean con el formato de las oraciones del lenguaje. Además, diseñamos datos de seguimiento de instrucciones de KG al considerar estos códigos aprendidos como características para ingresar directamente a los LLMs, logrando así una integración perfecta. Los resultados experimentales demuestran que SSQR supera a los métodos cuantizados no supervisados existentes, produciendo códigos más distinguibles. Además, los modelos LLaMA2 y LLaMA3.1 ajustados también muestran un rendimiento superior en la predicción de enlaces de KG y tareas de clasificación triple, utilizando solo 16 tokens por entidad en lugar de miles en los métodos de interrogación convencionales.

English

Due to the presence of the natural gap between Knowledge Graph (KG) structures and the natural language, the effective integration of holistic structural information of KGs with Large Language Models (LLMs) has emerged as a significant question. To this end, we propose a two-stage framework to learn and apply quantized codes for each entity, aiming for the seamless integration of KGs with LLMs. Firstly, a self-supervised quantized representation (SSQR) method is proposed to compress both KG structural and semantic knowledge into discrete codes (\ie, tokens) that align the format of language sentences. We further design KG instruction-following data by viewing these learned codes as features to directly input to LLMs, thereby achieving seamless integration. The experiment results demonstrate that SSQR outperforms existing unsupervised quantized methods, producing more distinguishable codes. Further, the fine-tuned LLaMA2 and LLaMA3.1 also have superior performance on KG link prediction and triple classification tasks, utilizing only 16 tokens per entity instead of thousands in conventional prompting methods.