アテンションメカニズムの観点から：グラフ構造データのLLM処理の探求

Attention Mechanisms Perspective: Exploring LLM Processing of Graph-Structured Data

May 4, 2025

著者: Zhong Guan, Likang Wu, Hongke Zhao, Ming He, Jianpin Fan

cs.AI

要旨

アテンション機構は大規模言語モデル（LLM）の成功に不可欠であり、複数の分野で重要な進展を遂げています。しかし、グラフ構造データにおいては、トポロジー的な接続性を重視する必要があるため、Graph Neural Networks（GNN）などで用いられる固定リンク上のメッセージパッシング機構と比較して、その性能が劣ります。これにより、「自然言語設定におけるグラフに対してアテンションは失敗するのか？」という疑問が生じます。これらの観察に基づき、我々はアテンション機構の観点から、LLMがどのようにグラフ構造データを処理するかを探るための実証研究に着手しました。目的は、LLMのグラフ構造に対するアテンションの振る舞いをより深く理解することです。我々は、LLMがグラフ構造データにアテンションを適用する際の独特な現象を明らかにし、これらの知見を分析して、LLMによるグラフ構造データのモデリングを改善することを目指しました。本研究の主な発見は以下の通りです：1）LLMはグラフデータを認識し、テキストとノード間の相互作用を捉えることができるが、グラフ構造内のノード間関係をモデル化する際には、そのアーキテクチャ上の制約により困難を抱えています。2）LLMのグラフノード間のアテンション分布は理想的な構造パターンと一致せず、グラフトポロジーの微妙な違いに適応できないことを示しています。3）完全接続アテンションも固定接続性も最適ではなく、それぞれに特定の適用シナリオにおける限界があります。代わりに、中間状態のアテンションウィンドウはLLMのトレーニング性能を向上させ、推論時には完全接続ウィンドウにシームレスに移行します。ソースコード：https://github.com/millioniron/LLM_exploration{LLM4Exploration}

English

Attention mechanisms are critical to the success of large language models (LLMs), driving significant advancements in multiple fields. However, for graph-structured data, which requires emphasis on topological connections, they fall short compared to message-passing mechanisms on fixed links, such as those employed by Graph Neural Networks (GNNs). This raises a question: ``Does attention fail for graphs in natural language settings?'' Motivated by these observations, we embarked on an empirical study from the perspective of attention mechanisms to explore how LLMs process graph-structured data. The goal is to gain deeper insights into the attention behavior of LLMs over graph structures. We uncovered unique phenomena regarding how LLMs apply attention to graph-structured data and analyzed these findings to improve the modeling of such data by LLMs. The primary findings of our research are: 1) While LLMs can recognize graph data and capture text-node interactions, they struggle to model inter-node relationships within graph structures due to inherent architectural constraints. 2) The attention distribution of LLMs across graph nodes does not align with ideal structural patterns, indicating a failure to adapt to graph topology nuances. 3) Neither fully connected attention nor fixed connectivity is optimal; each has specific limitations in its application scenarios. Instead, intermediate-state attention windows improve LLM training performance and seamlessly transition to fully connected windows during inference. Source code: https://github.com/millioniron/LLM_exploration{LLM4Exploration}