Quand les jetons de graphe coulent : une analyse mécaniste des modèles de langage pour graphes

Résumé

Les Modèles de Langage Graphiques (GLMs) sont devenus une voie prometteuse pour adapter les grands modèles de langage (LLMs) aux tâches d'apprentissage sur graphes. En transformant la topologie du graphe et les informations des nœuds en tokens graphiques, les GLMs permettent aux LLMs de traiter conjointement des entrées de graphe structurées et des instructions textuelles. Cependant, on ne sait toujours pas comment les LLMs interprètent en interne ces tokens graphiques et si les tokens graphiques agissent comme des vecteurs significatifs de la structure du graphe. Dans ce travail, nous analysons comment les LLMs traitent l'information du graphe à travers le comportement des tokens graphiques dans des architectures GLM représentatives. **Résultats.** Nous constatons que la saillance interne des tokens graphiques dans les GLMs n'est pas équivalente à l'utilisation de l'information du graphe. Les tokens puits graphiques apparaissent systématiquement comme des valeurs aberrantes au niveau de l'activation : ils peuvent être identifiés par des valeurs d'activation massives le long d'un petit ensemble de dimensions de l'état caché et sont biaisés vers les positions précoces des tokens graphiques. Cependant, cette saillance au niveau de l'activation n'implique pas que ces tokens soient les principaux vecteurs de l'information du graphe. Contrairement aux puits d'attention classiques dans les modèles de langage et de vision-langage, les tokens puits graphiques n'attirent pas nécessairement les plus grands poids d'attention des tokens requêtes. Grâce à des interventions d'élagage, de repositionnement et d'échange, nous montrons que les tokens puits graphiques ne sont pas les tokens les plus importants sur le plan sémantique ou structurel pour la prédiction en aval. **Implications.** Ensemble, ces résultats suggèrent qu'après que les GLMs actuels projettent la structure du graphe dans l'espace des tokens des LLMs, les représentations des tokens graphiques résultantes ne forment pas naturellement une représentation interne pleinement utilisable et sensible à la topologie ; elles présentent plutôt un découplage entre la saillance au niveau de l'activation et l'utilité sémantique du graphe. Ce découplage met en évidence des limitations dans les mécanismes existants de construction, de placement et d'alignement des tokens graphiques.

English

Graph Language Models (GLMs) have become a promising direction for adapting Large Language Models (LLMs) to graph learning tasks. By transforming graph topology and node information into graph tokens, GLMs allow LLMs to jointly process structured graph inputs and textual instructions. Yet, it remains unclear how LLMs internally interpret these graph tokens and whether graph tokens act as meaningful carriers of graph structure. In this work, we analyze how LLMs process graph information through graph-token behavior in representative GLM architectures. Findings. We find that the internal saliency of graph tokens in GLMs is not equivalent to graph information utilization. Graph sink tokens consistently emerge as activation-level outliers: they can be identified by massive activation values along a small set of hidden-state dimensions and are biased toward early graph-token positions. However, this activation-level saliency does not imply that these tokens are the main carriers of graph information. Unlike classical attention sinks in language and vision-language models, graph sink tokens do not necessarily attract the largest attention weights from query tokens. Through pruning, repositioning, and swapping interventions, we show that graph sink tokens are not the most important semantic or structural tokens for downstream prediction. Implications. Together, these results suggest that after current GLMs map graph structure into the LLM token space, the resulting graph-token representations do not naturally form a fully usable topology-aware internal representation; instead, they exhibit a decoupling between activation-level saliency and graph-semantic utility. This decoupling points to limitations in existing graph-token construction, placement, and alignment mechanisms.