Граф-ориентированное изоморфное внимание для адаптивной динамики в трансформерах

Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers

January 4, 2025

Авторы: Markus J. Buehler

cs.AI

Аннотация

Мы представляем подход к модификации архитектур Transformer путем интеграции графоориентированного реляционного рассуждения в механизм внимания, объединяя концепции графовых нейронных сетей и языкового моделирования. Основываясь на внутренней связи между вниманием и теорией графов, мы переформулируем механизм внимания Transformer как графовую операцию и предлагаем Графовое Изоморфное Внимание. Этот метод использует передовые стратегии моделирования графов, включая Графовые Изоморфные Сети (GIN) и Агрегацию Главного Соседства (PNA), для обогащения представления реляционных структур. Наш подход улавливает сложные зависимости и обобщается на различные задачи, что подтверждается уменьшением разрыва обобщения и улучшением производительности обучения. Кроме того, мы расширяем концепцию графового внимания, чтобы представить Разреженное GIN-Внимание, подход к настройке Feinberg, использующий разреженные GIN. Интерпретируя матрицы внимания как разреженные смежные графы, эта техника улучшает адаптивность предварительно обученных базовых моделей с минимальными вычислительными затратами, наделяя их графоориентированными возможностями. Настройка Feinberg с разреженным GIN-Вниманием достигает улучшенной динамики обучения и лучшего обобщения по сравнению с альтернативными методами, такими как адаптация низкого ранга (LoRA). Мы обсуждаем скрытые графоподобные структуры в традиционных механизмах внимания, предлагая новый взгляд на то, как Transformer'ы могут быть поняты. Эволюционируя Transformer'ы как иерархические модели GIN для реляционного рассуждения. Эта перспектива предполагает глубокие последствия для развития базовых моделей, позволяя создавать архитектуры, которые динамически адаптируются как к локальным, так и к глобальным зависимостям. Приложения в биоинформатике, материаловедении, языковом моделировании и за его пределами могли бы извлечь пользу из этого синтеза моделирования реляционных и последовательных данных, заложив основу для интерпретируемых и обобщаемых стратегий моделирования.

English

We present an approach to modifying Transformer architectures by integrating graph-aware relational reasoning into the attention mechanism, merging concepts from graph neural networks and language modeling. Building on the inherent connection between attention and graph theory, we reformulate the Transformer's attention mechanism as a graph operation and propose Graph-Aware Isomorphic Attention. This method leverages advanced graph modeling strategies, including Graph Isomorphism Networks (GIN) and Principal Neighborhood Aggregation (PNA), to enrich the representation of relational structures. Our approach captures complex dependencies and generalizes across tasks, as evidenced by a reduced generalization gap and improved learning performance. Additionally, we expand the concept of graph-aware attention to introduce Sparse GIN-Attention, a fine-tuning approach that employs sparse GINs. By interpreting attention matrices as sparse adjacency graphs, this technique enhances the adaptability of pre-trained foundational models with minimal computational overhead, endowing them with graph-aware capabilities. Sparse GIN-Attention fine-tuning achieves improved training dynamics and better generalization compared to alternative methods like low-rank adaption (LoRA). We discuss latent graph-like structures within traditional attention mechanisms, offering a new lens through which Transformers can be understood. By evolving Transformers as hierarchical GIN models for relational reasoning. This perspective suggests profound implications for foundational model development, enabling the design of architectures that dynamically adapt to both local and global dependencies. Applications in bioinformatics, materials science, language modeling, and beyond could benefit from this synthesis of relational and sequential data modeling, setting the stage for interpretable and generalizable modeling strategies.