Perspective des Mécanismes d'Attention : Exploration du Traitement des Données Structurées en Graphes par les LLM

Attention Mechanisms Perspective: Exploring LLM Processing of Graph-Structured Data

May 4, 2025

Auteurs: Zhong Guan, Likang Wu, Hongke Zhao, Ming He, Jianpin Fan

cs.AI

Résumé

Les mécanismes d'attention sont essentiels au succès des grands modèles de langage (LLMs), propulsant des avancées significatives dans de multiples domaines. Cependant, pour les données structurées en graphes, qui nécessitent une mise en avant des connexions topologiques, ils se révèlent moins performants que les mécanismes de passage de messages sur des liens fixes, comme ceux utilisés par les réseaux de neurones sur graphes (GNNs). Cela soulève une question : « L'attention échoue-t-elle pour les graphes dans des contextes de langage naturel ? » Motivés par ces observations, nous avons entrepris une étude empirique du point de vue des mécanismes d'attention pour explorer comment les LLMs traitent les données structurées en graphes. L'objectif est d'obtenir des insights plus profonds sur le comportement de l'attention des LLMs sur les structures de graphes. Nous avons découvert des phénomènes uniques concernant la manière dont les LLMs appliquent l'attention aux données structurées en graphes et avons analysé ces résultats pour améliorer la modélisation de telles données par les LLMs. Les principales conclusions de notre recherche sont : 1) Bien que les LLMs puissent reconnaître les données de graphes et capturer les interactions texte-nœud, ils peinent à modéliser les relations inter-nœuds au sein des structures de graphes en raison de contraintes architecturales inhérentes. 2) La distribution de l'attention des LLMs sur les nœuds de graphes ne correspond pas aux modèles structurels idéaux, indiquant un échec à s'adapter aux nuances de la topologie des graphes. 3) Ni l'attention entièrement connectée ni la connectivité fixe ne sont optimales ; chacune présente des limitations spécifiques dans ses scénarios d'application. En revanche, des fenêtres d'attention à état intermédiaire améliorent les performances d'entraînement des LLMs et permettent une transition fluide vers des fenêtres entièrement connectées lors de l'inférence. Code source : https://github.com/millioniron/LLM_exploration{LLM4Exploration}

English

Attention mechanisms are critical to the success of large language models (LLMs), driving significant advancements in multiple fields. However, for graph-structured data, which requires emphasis on topological connections, they fall short compared to message-passing mechanisms on fixed links, such as those employed by Graph Neural Networks (GNNs). This raises a question: ``Does attention fail for graphs in natural language settings?'' Motivated by these observations, we embarked on an empirical study from the perspective of attention mechanisms to explore how LLMs process graph-structured data. The goal is to gain deeper insights into the attention behavior of LLMs over graph structures. We uncovered unique phenomena regarding how LLMs apply attention to graph-structured data and analyzed these findings to improve the modeling of such data by LLMs. The primary findings of our research are: 1) While LLMs can recognize graph data and capture text-node interactions, they struggle to model inter-node relationships within graph structures due to inherent architectural constraints. 2) The attention distribution of LLMs across graph nodes does not align with ideal structural patterns, indicating a failure to adapt to graph topology nuances. 3) Neither fully connected attention nor fixed connectivity is optimal; each has specific limitations in its application scenarios. Instead, intermediate-state attention windows improve LLM training performance and seamlessly transition to fully connected windows during inference. Source code: https://github.com/millioniron/LLM_exploration{LLM4Exploration}