Eine Graph-Perspektive zur Untersuchung struktureller Wissensmuster in großen Sprachmodellen

A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models

May 25, 2025

Autoren: Utkarsh Sahu, Zhisheng Qi, Yongjia Lei, Ryan A. Rossi, Franck Dernoncourt, Nesreen K. Ahmed, Mahantesh M Halappanavar, Yao Ma, Yu Wang

cs.AI

Zusammenfassung

Große Sprachmodelle wurden umfassend als neuronale Wissensbasen untersucht, insbesondere in Bezug auf ihren Wissenszugriff, ihre Bearbeitbarkeit, ihre Schlussfolgerungsfähigkeit und ihre Erklärbarkeit. Allerdings konzentrieren sich nur wenige Arbeiten auf die strukturellen Muster ihres Wissens. Angespornt durch diese Lücke untersuchen wir diese strukturellen Muster aus einer Graphenperspektive. Wir quantifizieren das Wissen von Sprachmodellen sowohl auf der Ebene von Tripeln als auch von Entitäten und analysieren, wie es mit graphenstrukturellen Eigenschaften wie dem Knotengrad zusammenhängt. Darüber hinaus decken wir die Wissenshomophilie auf, bei der topologisch nahe Entitäten ähnliche Wissensniveaus aufweisen, was uns weiterhin motiviert, Graph-Machine-Learning-Modelle zu entwickeln, um das Wissen einer Entität basierend auf ihren lokalen Nachbarn zu schätzen. Dieses Modell ermöglicht zudem eine wertvolle Wissensüberprüfung, indem Tripel ausgewählt werden, die den Sprachmodellen weniger bekannt sind. Empirische Ergebnisse zeigen, dass die Feinabstimmung mit ausgewählten Tripeln zu einer überlegenen Leistung führt.

English

Large language models have been extensively studied as neural knowledge bases for their knowledge access, editability, reasoning, and explainability. However, few works focus on the structural patterns of their knowledge. Motivated by this gap, we investigate these structural patterns from a graph perspective. We quantify the knowledge of LLMs at both the triplet and entity levels, and analyze how it relates to graph structural properties such as node degree. Furthermore, we uncover the knowledge homophily, where topologically close entities exhibit similar levels of knowledgeability, which further motivates us to develop graph machine learning models to estimate entity knowledge based on its local neighbors. This model further enables valuable knowledge checking by selecting triplets less known to LLMs. Empirical results show that using selected triplets for fine-tuning leads to superior performance.