Prospettiva sui Meccanismi di Attenzione: Esplorazione dell'Elaborazione di Dati Strutturati a Grafo nei Modelli Linguistici di Grande Dimensione

Attention Mechanisms Perspective: Exploring LLM Processing of Graph-Structured Data

May 4, 2025

Autori: Zhong Guan, Likang Wu, Hongke Zhao, Ming He, Jianpin Fan

cs.AI

Abstract

I meccanismi di attenzione sono fondamentali per il successo dei grandi modelli linguistici (LLM), guidando progressi significativi in molteplici campi. Tuttavia, per i dati strutturati a grafo, che richiedono un'enfasi sulle connessioni topologiche, essi risultano inferiori rispetto ai meccanismi di passaggio di messaggi su collegamenti fissi, come quelli utilizzati dalle Reti Neurali a Grafo (GNN). Ciò solleva una domanda: "L'attenzione fallisce per i grafi in contesti di linguaggio naturale?" Motivati da queste osservazioni, abbiamo intrapreso uno studio empirico dal punto di vista dei meccanismi di attenzione per esplorare come i LLM elaborano i dati strutturati a grafo. L'obiettivo è ottenere approfondimenti sul comportamento dell'attenzione dei LLM sulle strutture a grafo. Abbiamo scoperto fenomeni unici riguardo a come i LLM applicano l'attenzione ai dati strutturati a grafo e abbiamo analizzato questi risultati per migliorare la modellazione di tali dati da parte dei LLM. Le principali scoperte della nostra ricerca sono: 1) Sebbene i LLM possano riconoscere i dati a grafo e catturare le interazioni testo-nodo, faticano a modellare le relazioni inter-nodo all'interno delle strutture a grafo a causa di vincoli architetturali intrinseci. 2) La distribuzione dell'attenzione dei LLM tra i nodi del grafo non si allinea con i modelli strutturali ideali, indicando un fallimento nell'adattarsi alle sfumature della topologia del grafo. 3) Né l'attenzione completamente connessa né la connettività fissa sono ottimali; ciascuna ha limitazioni specifiche nei suoi scenari di applicazione. Invece, finestre di attenzione a stato intermedio migliorano le prestazioni di addestramento dei LLM e passano senza soluzione di continuità a finestre completamente connesse durante l'inferenza. Codice sorgente: https://github.com/millioniron/LLM_exploration{LLM4Exploration}

English

Attention mechanisms are critical to the success of large language models (LLMs), driving significant advancements in multiple fields. However, for graph-structured data, which requires emphasis on topological connections, they fall short compared to message-passing mechanisms on fixed links, such as those employed by Graph Neural Networks (GNNs). This raises a question: ``Does attention fail for graphs in natural language settings?'' Motivated by these observations, we embarked on an empirical study from the perspective of attention mechanisms to explore how LLMs process graph-structured data. The goal is to gain deeper insights into the attention behavior of LLMs over graph structures. We uncovered unique phenomena regarding how LLMs apply attention to graph-structured data and analyzed these findings to improve the modeling of such data by LLMs. The primary findings of our research are: 1) While LLMs can recognize graph data and capture text-node interactions, they struggle to model inter-node relationships within graph structures due to inherent architectural constraints. 2) The attention distribution of LLMs across graph nodes does not align with ideal structural patterns, indicating a failure to adapt to graph topology nuances. 3) Neither fully connected attention nor fixed connectivity is optimal; each has specific limitations in its application scenarios. Instead, intermediate-state attention windows improve LLM training performance and seamlessly transition to fully connected windows during inference. Source code: https://github.com/millioniron/LLM_exploration{LLM4Exploration}