Perspectiva dos Mecanismos de Atenção: Explorando o Processamento de Dados Estruturados em Grafos por LLMs

Attention Mechanisms Perspective: Exploring LLM Processing of Graph-Structured Data

May 4, 2025

Autores: Zhong Guan, Likang Wu, Hongke Zhao, Ming He, Jianpin Fan

cs.AI

Resumo

Os mecanismos de atenção são fundamentais para o sucesso dos grandes modelos de linguagem (LLMs), impulsionando avanços significativos em múltiplas áreas. No entanto, para dados estruturados em grafos, que exigem ênfase nas conexões topológicas, eles se mostram inferiores em comparação com mecanismos de passagem de mensagens em links fixos, como os empregados pelas Redes Neurais de Grafos (GNNs). Isso levanta uma questão: "A atenção falha para grafos em contextos de linguagem natural?" Motivados por essas observações, embarcamos em um estudo empírico sob a perspectiva dos mecanismos de atenção para explorar como os LLMs processam dados estruturados em grafos. O objetivo é obter insights mais profundos sobre o comportamento da atenção dos LLMs em estruturas de grafos. Descobrimos fenômenos únicos sobre como os LLMs aplicam a atenção a dados estruturados em grafos e analisamos essas descobertas para melhorar a modelagem de tais dados por LLMs. As principais conclusões de nossa pesquisa são: 1) Embora os LLMs possam reconhecer dados de grafos e capturar interações entre texto e nós, eles têm dificuldade em modelar relações entre nós dentro de estruturas de grafos devido a limitações arquitetônicas inerentes. 2) A distribuição de atenção dos LLMs entre os nós do grafo não se alinha com padrões estruturais ideais, indicando uma falha em se adaptar às nuances da topologia do grafo. 3) Nem a atenção totalmente conectada nem a conectividade fixa são ideais; cada uma tem limitações específicas em seus cenários de aplicação. Em vez disso, janelas de atenção em estado intermediário melhoram o desempenho de treinamento dos LLMs e transicionam de forma contínua para janelas totalmente conectadas durante a inferência. Código-fonte: https://github.com/millioniron/LLM_exploration{LLM4Exploration}

English

Attention mechanisms are critical to the success of large language models (LLMs), driving significant advancements in multiple fields. However, for graph-structured data, which requires emphasis on topological connections, they fall short compared to message-passing mechanisms on fixed links, such as those employed by Graph Neural Networks (GNNs). This raises a question: ``Does attention fail for graphs in natural language settings?'' Motivated by these observations, we embarked on an empirical study from the perspective of attention mechanisms to explore how LLMs process graph-structured data. The goal is to gain deeper insights into the attention behavior of LLMs over graph structures. We uncovered unique phenomena regarding how LLMs apply attention to graph-structured data and analyzed these findings to improve the modeling of such data by LLMs. The primary findings of our research are: 1) While LLMs can recognize graph data and capture text-node interactions, they struggle to model inter-node relationships within graph structures due to inherent architectural constraints. 2) The attention distribution of LLMs across graph nodes does not align with ideal structural patterns, indicating a failure to adapt to graph topology nuances. 3) Neither fully connected attention nor fixed connectivity is optimal; each has specific limitations in its application scenarios. Instead, intermediate-state attention windows improve LLM training performance and seamlessly transition to fully connected windows during inference. Source code: https://github.com/millioniron/LLM_exploration{LLM4Exploration}