Perspectiva de Mecanismos de Atención: Explorando el Procesamiento de Datos Estructurados en Grafos por parte de los Modelos de Lenguaje de Gran Escala (LLM)

Attention Mechanisms Perspective: Exploring LLM Processing of Graph-Structured Data

May 4, 2025

Autores: Zhong Guan, Likang Wu, Hongke Zhao, Ming He, Jianpin Fan

cs.AI

Resumen

Los mecanismos de atención son fundamentales para el éxito de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), impulsando avances significativos en múltiples campos. Sin embargo, para datos estructurados en grafos, que requieren énfasis en las conexiones topológicas, estos mecanismos no alcanzan el mismo nivel de eficacia que los mecanismos de paso de mensajes sobre enlaces fijos, como los utilizados por las Redes Neuronales de Grafos (GNNs). Esto plantea una pregunta: "¿Falla la atención para grafos en entornos de lenguaje natural?" Motivados por estas observaciones, emprendimos un estudio empírico desde la perspectiva de los mecanismos de atención para explorar cómo los LLMs procesan datos estructurados en grafos. El objetivo es obtener una comprensión más profunda del comportamiento de la atención en los LLMs sobre estructuras de grafos. Descubrimos fenómenos únicos respecto a cómo los LLMs aplican la atención a datos estructurados en grafos y analizamos estos hallazgos para mejorar el modelado de dichos datos por parte de los LLMs. Los principales resultados de nuestra investigación son: 1) Aunque los LLMs pueden reconocer datos de grafos y capturar interacciones entre texto y nodos, tienen dificultades para modelar relaciones entre nodos dentro de estructuras de grafos debido a limitaciones arquitectónicas inherentes. 2) La distribución de la atención en los LLMs a través de los nodos del grafo no se alinea con patrones estructurales ideales, lo que indica una incapacidad para adaptarse a los matices de la topología del grafo. 3) Ni la atención completamente conectada ni la conectividad fija son óptimas; cada una tiene limitaciones específicas en sus escenarios de aplicación. En cambio, ventanas de atención en estados intermedios mejoran el rendimiento del entrenamiento de los LLMs y permiten una transición fluida a ventanas completamente conectadas durante la inferencia. Código fuente: https://github.com/millioniron/LLM_exploration{LLM4Exploration}

English

Attention mechanisms are critical to the success of large language models (LLMs), driving significant advancements in multiple fields. However, for graph-structured data, which requires emphasis on topological connections, they fall short compared to message-passing mechanisms on fixed links, such as those employed by Graph Neural Networks (GNNs). This raises a question: ``Does attention fail for graphs in natural language settings?'' Motivated by these observations, we embarked on an empirical study from the perspective of attention mechanisms to explore how LLMs process graph-structured data. The goal is to gain deeper insights into the attention behavior of LLMs over graph structures. We uncovered unique phenomena regarding how LLMs apply attention to graph-structured data and analyzed these findings to improve the modeling of such data by LLMs. The primary findings of our research are: 1) While LLMs can recognize graph data and capture text-node interactions, they struggle to model inter-node relationships within graph structures due to inherent architectural constraints. 2) The attention distribution of LLMs across graph nodes does not align with ideal structural patterns, indicating a failure to adapt to graph topology nuances. 3) Neither fully connected attention nor fixed connectivity is optimal; each has specific limitations in its application scenarios. Instead, intermediate-state attention windows improve LLM training performance and seamlessly transition to fully connected windows during inference. Source code: https://github.com/millioniron/LLM_exploration{LLM4Exploration}