Графовый подход к исследованию структурных паттернов знаний в крупных языковых моделях

A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models

May 25, 2025

Авторы: Utkarsh Sahu, Zhisheng Qi, Yongjia Lei, Ryan A. Rossi, Franck Dernoncourt, Nesreen K. Ahmed, Mahantesh M Halappanavar, Yao Ma, Yu Wang

cs.AI

Аннотация

Крупные языковые модели активно исследуются в качестве нейронных баз знаний благодаря их способности к доступу к знаниям, редактируемости, рассуждениям и объяснимости. Однако лишь немногие работы сосредоточены на структурных паттернах их знаний. Вдохновленные этим пробелом, мы исследуем эти структурные паттерны с точки зрения графов. Мы количественно оцениваем знания языковых моделей как на уровне триплетов, так и на уровне сущностей, и анализируем, как они связаны с такими свойствами структуры графа, как степень узла. Кроме того, мы выявляем гомофилию знаний, при которой топологически близкие сущности демонстрируют схожий уровень осведомленности, что вдохновляет нас на разработку графовых моделей машинного обучения для оценки знаний сущностей на основе их локальных соседей. Эта модель также позволяет проводить ценную проверку знаний, выбирая триплеты, которые менее известны языковым моделям. Эмпирические результаты показывают, что использование отобранных триплетов для тонкой настройки приводит к превосходной производительности.

English

Large language models have been extensively studied as neural knowledge bases for their knowledge access, editability, reasoning, and explainability. However, few works focus on the structural patterns of their knowledge. Motivated by this gap, we investigate these structural patterns from a graph perspective. We quantify the knowledge of LLMs at both the triplet and entity levels, and analyze how it relates to graph structural properties such as node degree. Furthermore, we uncover the knowledge homophily, where topologically close entities exhibit similar levels of knowledgeability, which further motivates us to develop graph machine learning models to estimate entity knowledge based on its local neighbors. This model further enables valuable knowledge checking by selecting triplets less known to LLMs. Empirical results show that using selected triplets for fine-tuning leads to superior performance.