Quando os Tokens de Grafo Afundam: Uma Análise Mecanística de Modelos de Linguagem para Grafos

Resumo

Modelos de Linguagem Gráfica (GLMs) tornaram-se uma direção promissora para adaptar Grandes Modelos de Linguagem (LLMs) a tarefas de aprendizado em grafos. Ao transformar a topologia do grafo e as informações dos nós em tokens gráficos, os GLMs permitem que os LLMs processem conjuntamente entradas estruturadas de grafos e instruções textuais. No entanto, ainda não está claro como os LLMs interpretam internamente esses tokens gráficos e se os tokens gráficos atuam como portadores significativos da estrutura do grafo. Neste trabalho, analisamos como os LLMs processam informações de grafos por meio do comportamento dos tokens gráficos em arquiteturas representativas de GLMs. **Resultados.** Constatamos que a saliência interna dos tokens gráficos nos GLMs não é equivalente à utilização das informações do grafo. Tokens gráficos sumidouro emergem consistentemente como outliers no nível de ativação: eles podem ser identificados por valores massivos de ativação ao longo de um pequeno conjunto de dimensões do estado oculto e são tendenciosos para as primeiras posições dos tokens gráficos. No entanto, essa saliência no nível de ativação não implica que esses tokens sejam os principais portadores das informações do grafo. Diferentemente dos sumidouros de atenção clássicos em modelos de linguagem e visão-linguagem, os tokens gráficos sumidouro não necessariamente atraem os maiores pesos de atenção dos tokens de consulta. Por meio de intervenções de poda, reposicionamento e troca, mostramos que os tokens gráficos sumidouro não são os tokens semânticos ou estruturais mais importantes para a predição downstream. **Implicações.** Em conjunto, esses resultados sugerem que, após os GLMs atuais mapearem a estrutura do grafo para o espaço de tokens dos LLMs, as representações resultantes dos tokens gráficos não formam naturalmente uma representação interna totalmente utilizável e ciente da topologia; em vez disso, exibem um desacoplamento entre a saliência no nível de ativação e a utilidade grafo-semântica. Esse desacoplamento aponta para limitações nos mecanismos existentes de construção, posicionamento e alinhamento de tokens gráficos.

English

Graph Language Models (GLMs) have become a promising direction for adapting Large Language Models (LLMs) to graph learning tasks. By transforming graph topology and node information into graph tokens, GLMs allow LLMs to jointly process structured graph inputs and textual instructions. Yet, it remains unclear how LLMs internally interpret these graph tokens and whether graph tokens act as meaningful carriers of graph structure. In this work, we analyze how LLMs process graph information through graph-token behavior in representative GLM architectures. Findings. We find that the internal saliency of graph tokens in GLMs is not equivalent to graph information utilization. Graph sink tokens consistently emerge as activation-level outliers: they can be identified by massive activation values along a small set of hidden-state dimensions and are biased toward early graph-token positions. However, this activation-level saliency does not imply that these tokens are the main carriers of graph information. Unlike classical attention sinks in language and vision-language models, graph sink tokens do not necessarily attract the largest attention weights from query tokens. Through pruning, repositioning, and swapping interventions, we show that graph sink tokens are not the most important semantic or structural tokens for downstream prediction. Implications. Together, these results suggest that after current GLMs map graph structure into the LLM token space, the resulting graph-token representations do not naturally form a fully usable topology-aware internal representation; instead, they exhibit a decoupling between activation-level saliency and graph-semantic utility. This decoupling points to limitations in existing graph-token construction, placement, and alignment mechanisms.