Selbstüberwachte quantisierte Repräsentation zur nahtlosen Integration von Wissensgraphen mit großen Sprachmodellen

Self-supervised Quantized Representation for Seamlessly Integrating Knowledge Graphs with Large Language Models

January 30, 2025

Autoren: Qika Lin, Tianzhe Zhao, Kai He, Zhen Peng, Fangzhi Xu, Ling Huang, Jingying Ma, Mengling Feng

cs.AI

Zusammenfassung

Aufgrund der natürlichen Kluft zwischen Wissensgraph (KG)-Strukturen und natürlicher Sprache ist die effektive Integration ganzheitlicher struktureller Informationen von KGs mit Large Language Models (LLMs) zu einer bedeutenden Fragestellung geworden. Zu diesem Zweck schlagen wir einen Zwei-Stufen-Ansatz vor, um quantisierte Codes für jede Entität zu erlernen und anzuwenden, mit dem Ziel, eine nahtlose Integration von KGs mit LLMs zu erreichen. Zunächst wird eine selbstüberwachte quantisierte Repräsentationsmethode (SSQR) vorgeschlagen, um sowohl strukturelles als auch semantisches Wissen von KGs in diskrete Codes (d. h. Tokens) zu komprimieren, die das Format von Sprachsätzen anpassen. Wir entwerfen weiterhin KG-Instruktionsfolgedaten, indem wir diese erlernten Codes als Merkmale betrachten, die direkt in LLMs eingegeben werden, um so eine nahtlose Integration zu erreichen. Die Experimentergebnisse zeigen, dass SSQR bestehende unüberwachte quantisierte Methoden übertrifft und deutlicher unterscheidbare Codes erzeugt. Darüber hinaus weisen die feinabgestimmten LLaMA2 und LLaMA3.1 eine überlegene Leistung bei der KG-Verknüpfungsvorhersage und der Tripelklassifizierung auf, wobei nur 16 Tokens pro Entität verwendet werden, anstelle von Tausenden in herkömmlichen Prompting-Methoden.

English

Due to the presence of the natural gap between Knowledge Graph (KG) structures and the natural language, the effective integration of holistic structural information of KGs with Large Language Models (LLMs) has emerged as a significant question. To this end, we propose a two-stage framework to learn and apply quantized codes for each entity, aiming for the seamless integration of KGs with LLMs. Firstly, a self-supervised quantized representation (SSQR) method is proposed to compress both KG structural and semantic knowledge into discrete codes (\ie, tokens) that align the format of language sentences. We further design KG instruction-following data by viewing these learned codes as features to directly input to LLMs, thereby achieving seamless integration. The experiment results demonstrate that SSQR outperforms existing unsupervised quantized methods, producing more distinguishable codes. Further, the fine-tuned LLaMA2 and LLaMA3.1 also have superior performance on KG link prediction and triple classification tasks, utilizing only 16 tokens per entity instead of thousands in conventional prompting methods.