Wanneer Grafiektokens Wegzinken: Een Mechanistische Analyse van Grafiektaalmodellen

Samenvatting

Grafiektaalmodellen (GLM's) zijn een veelbelovende richting geworden voor het aanpassen van Grote Taalmodellen (LLM's) aan grafiekleertaken. Door grafiektopologie en knoopinformatie om te zetten in grafiektokens, stellen GLM's LLM's in staat om gestructureerde grafiekinvoer en tekstuele instructies gezamenlijk te verwerken. Toch blijft het onduidelijk hoe LLM's deze grafiektokens intern interpreteren en of grafiektokens fungeren als betekenisvolle dragers van grafiekstructuur. In dit werk analyseren we hoe LLM's grafiekinformatie verwerken via het gedrag van grafiektokens in representatieve GLM-architecturen. **Bevindingen.** We vinden dat de interne saillantie van grafiektokens in GLM's niet gelijkstaat aan het gebruik van grafiekinformatie. Grafiek-sinktokens komen consistent naar voren als uitbijters op activatieniveau: ze kunnen worden geïdentificeerd door massale activatiewaarden over een kleine set van verborgen-toestandsdimensies en zijn geneigd naar vroege grafiektokenposities. Deze saillantie op activatieniveau impliceert echter niet dat deze tokens de belangrijkste dragers van grafiekinformatie zijn. In tegenstelling tot klassieke aandachtssinks in taal- en visie-taalmodellen, trekken grafiek-sinktokens niet noodzakelijk de grootste aandachtsgewichten aan van querytokens. Door middel van snoei-, herpositionerings- en uitwisselingsinterventies tonen we aan dat grafiek-sinktokens niet de belangrijkste semantische of structurele tokens zijn voor stroomafwaartse voorspelling. **Implicaties.** Samen suggereren deze resultaten dat, nadat huidige GLM's grafiekstructuur in de LLM-tokenruimte hebben afgebeeld, de resulterende grafiektokenrepresentaties niet vanzelfsprekend een volledig bruikbare topologiebewuste interne representatie vormen; in plaats daarvan vertonen ze een ontkoppeling tussen saillantie op activatieniveau en grafieksemantische bruikbaarheid. Deze ontkoppeling wijst op beperkingen in bestaande mechanismen voor constructie, plaatsing en afstemming van grafiektokens.

English

Graph Language Models (GLMs) have become a promising direction for adapting Large Language Models (LLMs) to graph learning tasks. By transforming graph topology and node information into graph tokens, GLMs allow LLMs to jointly process structured graph inputs and textual instructions. Yet, it remains unclear how LLMs internally interpret these graph tokens and whether graph tokens act as meaningful carriers of graph structure. In this work, we analyze how LLMs process graph information through graph-token behavior in representative GLM architectures. Findings. We find that the internal saliency of graph tokens in GLMs is not equivalent to graph information utilization. Graph sink tokens consistently emerge as activation-level outliers: they can be identified by massive activation values along a small set of hidden-state dimensions and are biased toward early graph-token positions. However, this activation-level saliency does not imply that these tokens are the main carriers of graph information. Unlike classical attention sinks in language and vision-language models, graph sink tokens do not necessarily attract the largest attention weights from query tokens. Through pruning, repositioning, and swapping interventions, we show that graph sink tokens are not the most important semantic or structural tokens for downstream prediction. Implications. Together, these results suggest that after current GLMs map graph structure into the LLM token space, the resulting graph-token representations do not naturally form a fully usable topology-aware internal representation; instead, they exhibit a decoupling between activation-level saliency and graph-semantic utility. This decoupling points to limitations in existing graph-token construction, placement, and alignment mechanisms.