대규모 언어 모델의 지식 구조 패턴을 탐구하기 위한 그래프 관점

A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models

May 25, 2025

저자: Utkarsh Sahu, Zhisheng Qi, Yongjia Lei, Ryan A. Rossi, Franck Dernoncourt, Nesreen K. Ahmed, Mahantesh M Halappanavar, Yao Ma, Yu Wang

cs.AI

초록

대규모 언어 모델은 지식 접근성, 편집 가능성, 추론 능력, 설명 가능성 측면에서 신경망 기반 지식 베이스로서 광범위하게 연구되어 왔습니다. 그러나 이들의 지식 구조적 패턴에 초점을 맞춘 연구는 상대적으로 드뭅니다. 이러한 격차에 동기를 부여받아, 우리는 그래프 관점에서 이러한 구조적 패턴을 조사합니다. 우리는 LLM의 지식을 트리플릿과 엔티티 수준에서 정량화하고, 이를 노드 차수와 같은 그래프 구조적 특성과 어떻게 연관되는지 분석합니다. 더 나아가, 우리는 위상적으로 가까운 엔티티들이 유사한 지식 수준을 보이는 지식 동질성(homophily)을 발견했으며, 이는 엔티티의 이웃을 기반으로 지식을 추정하는 그래프 머신러닝 모델 개발로 이어졌습니다. 이 모델은 LLM이 덜 알고 있는 트리플릿을 선택함으로써 가치 있는 지식 검사를 가능하게 합니다. 실험 결과, 선택된 트리플릿을 사용한 미세 조정이 우수한 성능으로 이어짐을 보여줍니다.

English

Large language models have been extensively studied as neural knowledge bases for their knowledge access, editability, reasoning, and explainability. However, few works focus on the structural patterns of their knowledge. Motivated by this gap, we investigate these structural patterns from a graph perspective. We quantify the knowledge of LLMs at both the triplet and entity levels, and analyze how it relates to graph structural properties such as node degree. Furthermore, we uncover the knowledge homophily, where topologically close entities exhibit similar levels of knowledgeability, which further motivates us to develop graph machine learning models to estimate entity knowledge based on its local neighbors. This model further enables valuable knowledge checking by selecting triplets less known to LLMs. Empirical results show that using selected triplets for fine-tuning leads to superior performance.