Uma Perspectiva de Grafos para Investigar Padrões Estruturais de Conhecimento em Modelos de Linguagem de Grande Escala

A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models

May 25, 2025

Autores: Utkarsh Sahu, Zhisheng Qi, Yongjia Lei, Ryan A. Rossi, Franck Dernoncourt, Nesreen K. Ahmed, Mahantesh M Halappanavar, Yao Ma, Yu Wang

cs.AI

Resumo

Modelos de linguagem de grande escala têm sido extensivamente estudados como bases de conhecimento neural, com foco em seu acesso ao conhecimento, editabilidade, raciocínio e explicabilidade. No entanto, poucos trabalhos se concentram nos padrões estruturais de seu conhecimento. Motivados por essa lacuna, investigamos esses padrões estruturais a partir de uma perspectiva de grafos. Quantificamos o conhecimento dos LLMs tanto no nível de triplas quanto no nível de entidades, e analisamos como ele se relaciona com propriedades estruturais de grafos, como o grau dos nós. Além disso, descobrimos a homofilia de conhecimento, onde entidades topologicamente próximas exibem níveis semelhantes de conhecimento, o que nos motiva ainda mais a desenvolver modelos de aprendizado de máquina baseados em grafos para estimar o conhecimento de uma entidade com base em seus vizinhos locais. Esse modelo também permite uma valiosa verificação de conhecimento ao selecionar triplas menos conhecidas pelos LLMs. Resultados empíricos mostram que o uso de triplas selecionadas para ajuste fino leva a um desempenho superior.

English

Large language models have been extensively studied as neural knowledge bases for their knowledge access, editability, reasoning, and explainability. However, few works focus on the structural patterns of their knowledge. Motivated by this gap, we investigate these structural patterns from a graph perspective. We quantify the knowledge of LLMs at both the triplet and entity levels, and analyze how it relates to graph structural properties such as node degree. Furthermore, we uncover the knowledge homophily, where topologically close entities exhibit similar levels of knowledgeability, which further motivates us to develop graph machine learning models to estimate entity knowledge based on its local neighbors. This model further enables valuable knowledge checking by selecting triplets less known to LLMs. Empirical results show that using selected triplets for fine-tuning leads to superior performance.