Une perspective graphique pour sonder les motifs structurels de la connaissance dans les grands modèles de langage

A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models

May 25, 2025

papers.authors: Utkarsh Sahu, Zhisheng Qi, Yongjia Lei, Ryan A. Rossi, Franck Dernoncourt, Nesreen K. Ahmed, Mahantesh M Halappanavar, Yao Ma, Yu Wang

cs.AI

papers.abstract

Les grands modèles de langage ont été largement étudiés en tant que bases de connaissances neuronales pour leur accès au savoir, leur éditabilité, leur raisonnement et leur explicabilité. Cependant, peu de travaux se concentrent sur les motifs structurels de leurs connaissances. Motivés par cette lacune, nous explorons ces motifs structurels sous l'angle des graphes. Nous quantifions les connaissances des LLM à la fois au niveau des triplets et des entités, et analysons leur relation avec les propriétés structurelles des graphes telles que le degré des nœuds. De plus, nous mettons en évidence l'homophilie de connaissances, où les entités topologiquement proches présentent des niveaux de savoir similaires, ce qui nous motive à développer des modèles d'apprentissage automatique sur graphes pour estimer les connaissances d'une entité en fonction de ses voisins locaux. Ce modèle permet également une vérification précieuse des connaissances en sélectionnant les triplets moins connus des LLM. Les résultats empiriques montrent que l'utilisation de triplets sélectionnés pour le fine-tuning conduit à des performances supérieures.

English

Large language models have been extensively studied as neural knowledge bases for their knowledge access, editability, reasoning, and explainability. However, few works focus on the structural patterns of their knowledge. Motivated by this gap, we investigate these structural patterns from a graph perspective. We quantify the knowledge of LLMs at both the triplet and entity levels, and analyze how it relates to graph structural properties such as node degree. Furthermore, we uncover the knowledge homophily, where topologically close entities exhibit similar levels of knowledgeability, which further motivates us to develop graph machine learning models to estimate entity knowledge based on its local neighbors. This model further enables valuable knowledge checking by selecting triplets less known to LLMs. Empirical results show that using selected triplets for fine-tuning leads to superior performance.