Una Perspectiva de Grafos para Explorar Patrones Estructurales del Conocimiento en Modelos de Lenguaje a Gran Escala

A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models

May 25, 2025

Autores: Utkarsh Sahu, Zhisheng Qi, Yongjia Lei, Ryan A. Rossi, Franck Dernoncourt, Nesreen K. Ahmed, Mahantesh M Halappanavar, Yao Ma, Yu Wang

cs.AI

Resumen

Los grandes modelos de lenguaje han sido ampliamente estudiados como bases de conocimiento neuronal por su capacidad de acceso, edición, razonamiento y explicabilidad del conocimiento. Sin embargo, pocos trabajos se centran en los patrones estructurales de su conocimiento. Motivados por esta brecha, investigamos estos patrones estructurales desde una perspectiva de grafos. Cuantificamos el conocimiento de los LLM tanto a nivel de tripletas como de entidades, y analizamos cómo se relaciona con propiedades estructurales de grafos como el grado de los nodos. Además, descubrimos la homofilia del conocimiento, donde entidades topológicamente cercanas exhiben niveles similares de conocimiento, lo que nos motiva a desarrollar modelos de aprendizaje automático basados en grafos para estimar el conocimiento de una entidad en función de sus vecinos locales. Este modelo permite una valiosa verificación del conocimiento al seleccionar tripletas menos conocidas por los LLM. Los resultados empíricos muestran que el uso de tripletas seleccionadas para el ajuste fino conduce a un rendimiento superior.

English

Large language models have been extensively studied as neural knowledge bases for their knowledge access, editability, reasoning, and explainability. However, few works focus on the structural patterns of their knowledge. Motivated by this gap, we investigate these structural patterns from a graph perspective. We quantify the knowledge of LLMs at both the triplet and entity levels, and analyze how it relates to graph structural properties such as node degree. Furthermore, we uncover the knowledge homophily, where topologically close entities exhibit similar levels of knowledgeability, which further motivates us to develop graph machine learning models to estimate entity knowledge based on its local neighbors. This model further enables valuable knowledge checking by selecting triplets less known to LLMs. Empirical results show that using selected triplets for fine-tuning leads to superior performance.