그래프 토큰이 싱크될 때: 그래프 언어 모델의 메커니즘 분석

초록

그래프 언어 모델(GLM)은 대규모 언어 모델(LLM)을 그래프 학습 과제에 적용하기 위한 유망한 방향으로 부상했다. 그래프 위상 정보와 노드 정보를 그래프 토큰으로 변환함으로써, GLM은 구조화된 그래프 입력과 텍스트 명령을 LLM이 공동으로 처리할 수 있게 한다. 그러나 LLM이 이러한 그래프 토큰을 내부적으로 어떻게 해석하는지, 그리고 그래프 토큰이 그래프 구조의 의미 있는 전달자 역할을 하는지는 여전히 불분명하다. 본 연구에서는 대표적인 GLM 아키텍처에서 그래프 토큰의 행동을 통해 LLM이 그래프 정보를 처리하는 방식을 분석한다. **발견 사항.** GLM에서 그래프 토큰의 내부 현저성(saliency)은 그래프 정보 활용과 동일하지 않다는 점을 발견했다. 그래프 싱크 토큰은 활성화 수준의 이상치로 일관되게 나타난다. 즉, 적은 수의 은닉 상태 차원을 따라 큰 활성화 값을 가지며, 초기 그래프 토큰 위치에 편향되는 경향이 있다. 그러나 이러한 활성화 수준의 현저성이 해당 토큰이 그래프 정보의 주요 전달자임을 의미하지는 않는다. 언어 및 시각-언어 모델의 고전적인 어텐션 싱크와 달리, 그래프 싱크 토큰이 반드시 쿼리 토큰으로부터 가장 큰 어텐션 가중치를 끌어들이는 것은 아니다. 가지치기(pruning), 재배치(repositioning), 교체(swapping) 개입을 통해, 그래프 싱크 토큰이 하위 예측을 위한 가장 중요한 의미론적 또는 구조적 토큰이 아님을 보여준다. **시사점.** 종합하면, 이러한 결과는 현재의 GLM이 그래프 구조를 LLM 토큰 공간으로 매핑한 후, 결과적인 그래프 토큰 표현이 자연스럽게 완전히 사용 가능한 위상 인식 내부 표현을 형성하지 않는다는 것을 시사한다. 대신, 이들은 활성화 수준의 현저성과 그래프-의미론적 유용성 사이의 분리를 나타낸다. 이러한 분리는 기존 그래프 토큰의 구성, 배치 및 정렬 메커니즘의 한계를 지적한다.

English

Graph Language Models (GLMs) have become a promising direction for adapting Large Language Models (LLMs) to graph learning tasks. By transforming graph topology and node information into graph tokens, GLMs allow LLMs to jointly process structured graph inputs and textual instructions. Yet, it remains unclear how LLMs internally interpret these graph tokens and whether graph tokens act as meaningful carriers of graph structure. In this work, we analyze how LLMs process graph information through graph-token behavior in representative GLM architectures. Findings. We find that the internal saliency of graph tokens in GLMs is not equivalent to graph information utilization. Graph sink tokens consistently emerge as activation-level outliers: they can be identified by massive activation values along a small set of hidden-state dimensions and are biased toward early graph-token positions. However, this activation-level saliency does not imply that these tokens are the main carriers of graph information. Unlike classical attention sinks in language and vision-language models, graph sink tokens do not necessarily attract the largest attention weights from query tokens. Through pruning, repositioning, and swapping interventions, we show that graph sink tokens are not the most important semantic or structural tokens for downstream prediction. Implications. Together, these results suggest that after current GLMs map graph structure into the LLM token space, the resulting graph-token representations do not naturally form a fully usable topology-aware internal representation; instead, they exhibit a decoupling between activation-level saliency and graph-semantic utility. This decoupling points to limitations in existing graph-token construction, placement, and alignment mechanisms.