Een grafiekperspectief om structurele patronen van kennis in grote taalmodelen te onderzoeken

A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models

May 25, 2025

Auteurs: Utkarsh Sahu, Zhisheng Qi, Yongjia Lei, Ryan A. Rossi, Franck Dernoncourt, Nesreen K. Ahmed, Mahantesh M Halappanavar, Yao Ma, Yu Wang

cs.AI

Samenvatting

Grote taalmodelen zijn uitgebreid bestudeerd als neurale kennisbanken vanwege hun kennis toegankelijkheid, bewerkbaarheid, redeneervermogen en verklaarbaarheid. Echter, weinig onderzoek richt zich op de structurele patronen van hun kennis. Gemotiveerd door deze leemte onderzoeken wij deze structurele patronen vanuit een grafisch perspectief. We kwantificeren de kennis van LLM's op zowel triplet- als entiteitsniveau, en analyseren hoe deze gerelateerd is aan grafische structurele eigenschappen zoals de graad van een knooppunt. Daarnaast ontdekken we kennis homofilie, waarbij topologisch dichtbijgelegen entiteiten vergelijkbare niveaus van kennisbaarheid vertonen, wat ons verder motiveert om grafische machine learning modellen te ontwikkelen om entiteitskennis te schatten op basis van zijn lokale buren. Dit model maakt waardevolle kenniscontrole mogelijk door triplets te selecteren die minder bekend zijn bij LLM's. Empirische resultaten tonen aan dat het gebruik van geselecteerde triplets voor fine-tuning leidt tot superieure prestaties.

English

Large language models have been extensively studied as neural knowledge bases for their knowledge access, editability, reasoning, and explainability. However, few works focus on the structural patterns of their knowledge. Motivated by this gap, we investigate these structural patterns from a graph perspective. We quantify the knowledge of LLMs at both the triplet and entity levels, and analyze how it relates to graph structural properties such as node degree. Furthermore, we uncover the knowledge homophily, where topologically close entities exhibit similar levels of knowledgeability, which further motivates us to develop graph machine learning models to estimate entity knowledge based on its local neighbors. This model further enables valuable knowledge checking by selecting triplets less known to LLMs. Empirical results show that using selected triplets for fine-tuning leads to superior performance.