Перспектива механизмов внимания: исследование обработки графо-структурированных данных в крупных языковых моделях

Attention Mechanisms Perspective: Exploring LLM Processing of Graph-Structured Data

May 4, 2025

Авторы: Zhong Guan, Likang Wu, Hongke Zhao, Ming He, Jianpin Fan

cs.AI

Аннотация

Механизмы внимания играют ключевую роль в успехе крупных языковых моделей (LLM), способствуя значительным достижениям в различных областях. Однако для графоструктурированных данных, где требуется акцент на топологических связях, они уступают механизмам передачи сообщений по фиксированным связям, таким как те, что используются в графовых нейронных сетях (GNN). Это поднимает вопрос: «Неужели механизмы внимания неэффективны для графов в контексте обработки естественного языка?» Вдохновленные этими наблюдениями, мы провели эмпирическое исследование с точки зрения механизмов внимания, чтобы изучить, как LLM обрабатывают графоструктурированные данные. Целью было получить более глубокое понимание поведения внимания LLM на графовых структурах. Мы обнаружили уникальные явления, связанные с тем, как LLM применяют внимание к графоструктурированным данным, и проанализировали эти результаты для улучшения моделирования таких данных с помощью LLM. Основные выводы нашего исследования следующие: 1) Хотя LLM способны распознавать графовые данные и улавливать взаимодействия между текстом и узлами, они испытывают трудности с моделированием отношений между узлами в графовых структурах из-за присущих им архитектурных ограничений. 2) Распределение внимания LLM по узлам графа не соответствует идеальным структурным паттернам, что указывает на неспособность адаптироваться к нюансам топологии графа. 3) Ни полностью связанное внимание, ни фиксированная связность не являются оптимальными; каждый из подходов имеет свои ограничения в конкретных сценариях применения. Вместо этого промежуточные окна внимания улучшают производительность обучения LLM и плавно переходят к полностью связанным окнам во время вывода. Исходный код: https://github.com/millioniron/LLM_exploration{LLM4Exploration}

English

Attention mechanisms are critical to the success of large language models (LLMs), driving significant advancements in multiple fields. However, for graph-structured data, which requires emphasis on topological connections, they fall short compared to message-passing mechanisms on fixed links, such as those employed by Graph Neural Networks (GNNs). This raises a question: ``Does attention fail for graphs in natural language settings?'' Motivated by these observations, we embarked on an empirical study from the perspective of attention mechanisms to explore how LLMs process graph-structured data. The goal is to gain deeper insights into the attention behavior of LLMs over graph structures. We uncovered unique phenomena regarding how LLMs apply attention to graph-structured data and analyzed these findings to improve the modeling of such data by LLMs. The primary findings of our research are: 1) While LLMs can recognize graph data and capture text-node interactions, they struggle to model inter-node relationships within graph structures due to inherent architectural constraints. 2) The attention distribution of LLMs across graph nodes does not align with ideal structural patterns, indicating a failure to adapt to graph topology nuances. 3) Neither fully connected attention nor fixed connectivity is optimal; each has specific limitations in its application scenarios. Instead, intermediate-state attention windows improve LLM training performance and seamlessly transition to fully connected windows during inference. Source code: https://github.com/millioniron/LLM_exploration{LLM4Exploration}