大規模言語モデルにおける知識の構造的パターンを探るグラフ視点

A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models

May 25, 2025

著者: Utkarsh Sahu, Zhisheng Qi, Yongjia Lei, Ryan A. Rossi, Franck Dernoncourt, Nesreen K. Ahmed, Mahantesh M Halappanavar, Yao Ma, Yu Wang

cs.AI

要旨

大規模言語モデルは、その知識アクセス、編集可能性、推論能力、説明可能性の観点から、ニューラル知識ベースとして広く研究されてきました。しかし、その知識の構造的パターンに焦点を当てた研究はほとんどありません。このギャップに動機づけられ、我々はグラフの視点からこれらの構造的パターンを調査します。我々は、LLMの知識をトリプレットレベルとエンティティレベルの両方で定量化し、それがノード次数などのグラフ構造特性とどのように関連するかを分析します。さらに、我々は知識のホモフィリーを明らかにし、トポロジー的に近いエンティティが類似した知識レベルを示すことを発見しました。これにより、ローカルな近傍に基づいてエンティティの知識を推定するグラフ機械学習モデルを開発する動機がさらに高まりました。このモデルは、LLMがあまり知らないトリプレットを選択することで、貴重な知識チェックを可能にします。実験結果は、選択されたトリプレットを用いてファインチューニングを行うことで優れた性能が得られることを示しています。

English

Large language models have been extensively studied as neural knowledge bases for their knowledge access, editability, reasoning, and explainability. However, few works focus on the structural patterns of their knowledge. Motivated by this gap, we investigate these structural patterns from a graph perspective. We quantify the knowledge of LLMs at both the triplet and entity levels, and analyze how it relates to graph structural properties such as node degree. Furthermore, we uncover the knowledge homophily, where topologically close entities exhibit similar levels of knowledgeability, which further motivates us to develop graph machine learning models to estimate entity knowledge based on its local neighbors. This model further enables valuable knowledge checking by selecting triplets less known to LLMs. Empirical results show that using selected triplets for fine-tuning leads to superior performance.