Perspektive der Aufmerksamkeitsmechanismen: Untersuchung der Verarbeitung von graphenstrukturierten Daten durch LLMs

Attention Mechanisms Perspective: Exploring LLM Processing of Graph-Structured Data

May 4, 2025

Autoren: Zhong Guan, Likang Wu, Hongke Zhao, Ming He, Jianpin Fan

cs.AI

Zusammenfassung

Aufmerksamkeitsmechanismen sind entscheidend für den Erfolg großer Sprachmodelle (LLMs) und treiben bedeutende Fortschritte in verschiedenen Bereichen voran. Bei graphstrukturierten Daten, die eine Betonung topologischer Verbindungen erfordern, bleiben sie jedoch im Vergleich zu Nachrichtenübermittlungsmechanismen auf festen Verbindungen, wie sie beispielsweise von Graph Neural Networks (GNNs) verwendet werden, zurück. Dies wirft die Frage auf: „Versagt die Aufmerksamkeit bei Graphen in natürlichen Sprachumgebungen?“ Motiviert durch diese Beobachtungen, haben wir eine empirische Studie aus der Perspektive von Aufmerksamkeitsmechanismen durchgeführt, um zu untersuchen, wie LLMs graphstrukturierte Daten verarbeiten. Das Ziel ist es, tiefere Einblicke in das Aufmerksamkeitsverhalten von LLMs über Graphstrukturen zu gewinnen. Wir haben einzigartige Phänomene bezüglich der Anwendung von Aufmerksamkeit auf graphstrukturierte Daten durch LLMs aufgedeckt und diese Erkenntnisse analysiert, um die Modellierung solcher Daten durch LLMs zu verbessern. Die wichtigsten Ergebnisse unserer Forschung sind: 1) Während LLMs Graphdaten erkennen und Text-Knoten-Interaktionen erfassen können, haben sie Schwierigkeiten, Inter-Knoten-Beziehungen innerhalb von Graphstrukturen aufgrund inhärenter architektonischer Einschränkungen zu modellieren. 2) Die Aufmerksamkeitsverteilung von LLMs über Graphknoten entspricht nicht idealen strukturellen Mustern, was auf ein Versagen bei der Anpassung an die Nuancen der Graphentopologie hinweist. 3) Weder vollständig verbundene Aufmerksamkeit noch feste Konnektivität sind optimal; jede hat spezifische Einschränkungen in ihren Anwendungsszenarien. Stattdessen verbessern Aufmerksamkeitsfenster im Zwischenzustand die Trainingsleistung von LLMs und gehen nahtlos in vollständig verbundene Fenster während der Inferenz über. Quellcode: https://github.com/millioniron/LLM_exploration{LLM4Exploration}

English

Attention mechanisms are critical to the success of large language models (LLMs), driving significant advancements in multiple fields. However, for graph-structured data, which requires emphasis on topological connections, they fall short compared to message-passing mechanisms on fixed links, such as those employed by Graph Neural Networks (GNNs). This raises a question: ``Does attention fail for graphs in natural language settings?'' Motivated by these observations, we embarked on an empirical study from the perspective of attention mechanisms to explore how LLMs process graph-structured data. The goal is to gain deeper insights into the attention behavior of LLMs over graph structures. We uncovered unique phenomena regarding how LLMs apply attention to graph-structured data and analyzed these findings to improve the modeling of such data by LLMs. The primary findings of our research are: 1) While LLMs can recognize graph data and capture text-node interactions, they struggle to model inter-node relationships within graph structures due to inherent architectural constraints. 2) The attention distribution of LLMs across graph nodes does not align with ideal structural patterns, indicating a failure to adapt to graph topology nuances. 3) Neither fully connected attention nor fixed connectivity is optimal; each has specific limitations in its application scenarios. Instead, intermediate-state attention windows improve LLM training performance and seamlessly transition to fully connected windows during inference. Source code: https://github.com/millioniron/LLM_exploration{LLM4Exploration}