Una Prospettiva Grafica per Esplorare i Modelli Strutturali della Conoscenza nei Modelli Linguistici su Larga Scala

A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models

May 25, 2025

Autori: Utkarsh Sahu, Zhisheng Qi, Yongjia Lei, Ryan A. Rossi, Franck Dernoncourt, Nesreen K. Ahmed, Mahantesh M Halappanavar, Yao Ma, Yu Wang

cs.AI

Abstract

I grandi modelli linguistici sono stati ampiamente studiati come basi di conoscenza neurale per la loro capacità di accesso, modifica, ragionamento e spiegabilità della conoscenza. Tuttavia, pochi lavori si sono concentrati sui modelli strutturali della loro conoscenza. Motivati da questa lacuna, indaghiamo questi modelli strutturali da una prospettiva grafica. Quantifichiamo la conoscenza dei LLM sia a livello di tripletta che di entità, e analizziamo come essa si relaziona alle proprietà strutturali del grafo, come il grado dei nodi. Inoltre, scopriamo l'omofilia della conoscenza, dove entità topologicamente vicine mostrano livelli simili di conoscenza, il che ci motiva ulteriormente a sviluppare modelli di apprendimento automatico su grafi per stimare la conoscenza delle entità basandosi sui loro vicini locali. Questo modello consente inoltre un prezioso controllo della conoscenza selezionando triplette meno note ai LLM. I risultati empirici dimostrano che l'uso di triplette selezionate per il fine-tuning porta a prestazioni superiori.

English

Large language models have been extensively studied as neural knowledge bases for their knowledge access, editability, reasoning, and explainability. However, few works focus on the structural patterns of their knowledge. Motivated by this gap, we investigate these structural patterns from a graph perspective. We quantify the knowledge of LLMs at both the triplet and entity levels, and analyze how it relates to graph structural properties such as node degree. Furthermore, we uncover the knowledge homophily, where topologically close entities exhibit similar levels of knowledgeability, which further motivates us to develop graph machine learning models to estimate entity knowledge based on its local neighbors. This model further enables valuable knowledge checking by selecting triplets less known to LLMs. Empirical results show that using selected triplets for fine-tuning leads to superior performance.