「グラフトークンがシンクするとき：グラフ言語モデルのメカニスティック分析」

要旨

グラフ言語モデル（GLM）は、大規模言語モデル（LLM）をグラフ学習タスクに適応させるための有望な方向性となっている。グラフのトポロジーとノード情報をグラフトークンに変換することで、GLMはLLMが構造化されたグラフ入力とテキスト指示を共同で処理することを可能にする。しかし、LLMがこれらのグラフトークンを内部でどのように解釈するか、またグラフトークンがグラフ構造の意味のある伝達手段として機能するかどうかは不明である。本研究では、代表的なGLMアーキテクチャにおけるグラフトークンの振る舞いを通じて、LLMがグラフ情報をどのように処理するかを分析する。知見。GLMにおけるグラフトークンの内部顕著性は、グラフ情報の活用と同等ではないことがわかった。グラフシンクトークンは活性化レベルの外れ値として一貫して現れる。すなわち、少数の隠れ状態次元に沿った巨大な活性化値によって識別でき、初期のグラフトークン位置に偏っている。しかし、この活性化レベルの顕著性は、これらのトークンがグラフ情報の主要な伝達手段であることを意味しない。言語モデルや視覚言語モデルにおける古典的な注意シンクとは異なり、グラフシンクトークンは必ずしもクエリトークンから最大の注意重みを引きつけるわけではない。刈り込み、再配置、交換の介入を通じて、グラフシンクトークンは下流予測にとって最も重要な意味的または構造的トークンではないことを示す。含意。これらの結果は、現在のGLMがグラフ構造をLLMのトークン空間にマッピングした後、結果として得られるグラフトークン表現が、完全に利用可能なトポロジー認識内部表現を自然に形成しないことを示唆している。代わりに、活性化レベルの顕著性とグラフ意味論的実用性の間に分離が見られる。この分離は、既存のグラフトークンの構築、配置、および調整メカニズムの限界を指摘している。

English

Graph Language Models (GLMs) have become a promising direction for adapting Large Language Models (LLMs) to graph learning tasks. By transforming graph topology and node information into graph tokens, GLMs allow LLMs to jointly process structured graph inputs and textual instructions. Yet, it remains unclear how LLMs internally interpret these graph tokens and whether graph tokens act as meaningful carriers of graph structure. In this work, we analyze how LLMs process graph information through graph-token behavior in representative GLM architectures. Findings. We find that the internal saliency of graph tokens in GLMs is not equivalent to graph information utilization. Graph sink tokens consistently emerge as activation-level outliers: they can be identified by massive activation values along a small set of hidden-state dimensions and are biased toward early graph-token positions. However, this activation-level saliency does not imply that these tokens are the main carriers of graph information. Unlike classical attention sinks in language and vision-language models, graph sink tokens do not necessarily attract the largest attention weights from query tokens. Through pruning, repositioning, and swapping interventions, we show that graph sink tokens are not the most important semantic or structural tokens for downstream prediction. Implications. Together, these results suggest that after current GLMs map graph structure into the LLM token space, the resulting graph-token representations do not naturally form a fully usable topology-aware internal representation; instead, they exhibit a decoupling between activation-level saliency and graph-semantic utility. This decoupling points to limitations in existing graph-token construction, placement, and alignment mechanisms.