Attention Isomorphe Sensible au Graph pour la Dynamique Adaptative dans les Transformers

Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers

January 4, 2025

Auteurs: Markus J. Buehler

cs.AI

Résumé

Nous présentons une approche pour modifier les architectures Transformer en intégrant le raisonnement relationnel conscient du graphe dans le mécanisme d'attention, fusionnant des concepts des réseaux neuronaux graphiques et de la modélisation de langage. En nous appuyant sur le lien inhérent entre l'attention et la théorie des graphes, nous reformulons le mécanisme d'attention du Transformer en tant qu'opération graphique et proposons l'Attention Isomorphe Consciente du Graphe. Cette méthode exploite des stratégies avancées de modélisation de graphes, notamment les Réseaux d'Isomorphisme de Graphes (GIN) et l'Aggrégation de Voisinage Principal (PNA), pour enrichir la représentation des structures relationnelles. Notre approche capture des dépendances complexes et généralise à travers les tâches, comme en témoigne un écart de généralisation réduit et des performances d'apprentissage améliorées. De plus, nous étendons le concept d'attention consciente du graphe pour introduire l'Attention GIN Éparse, une approche de fine-tuning qui utilise des GINs épars. En interprétant les matrices d'attention comme des graphes d'adjacence épars, cette technique améliore l'adaptabilité des modèles fondamentaux pré-entraînés avec un surcoût computationnel minimal, leur conférant des capacités conscientes du graphe. Le fine-tuning de l'Attention GIN Éparse permet d'obtenir une dynamique d'entraînement améliorée et une meilleure généralisation par rapport à des méthodes alternatives telles que l'adaptation à faible rang (LoRA). Nous discutons des structures de graphe latentes au sein des mécanismes d'attention traditionnels, offrant un nouveau regard à travers lequel les Transformers peuvent être compris. En faisant évoluer les Transformers en tant que modèles GIN hiérarchiques pour le raisonnement relationnel, cette perspective suggère des implications profondes pour le développement de modèles fondamentaux, permettant la conception d'architectures qui s'adaptent dynamiquement aux dépendances locales et globales. Les applications en bioinformatique, en science des matériaux, en modélisation de langage et au-delà pourraient bénéficier de cette synthèse de la modélisation des données relationnelles et séquentielles, ouvrant la voie à des stratégies de modélisation interprétables et généralisables.

English

We present an approach to modifying Transformer architectures by integrating graph-aware relational reasoning into the attention mechanism, merging concepts from graph neural networks and language modeling. Building on the inherent connection between attention and graph theory, we reformulate the Transformer's attention mechanism as a graph operation and propose Graph-Aware Isomorphic Attention. This method leverages advanced graph modeling strategies, including Graph Isomorphism Networks (GIN) and Principal Neighborhood Aggregation (PNA), to enrich the representation of relational structures. Our approach captures complex dependencies and generalizes across tasks, as evidenced by a reduced generalization gap and improved learning performance. Additionally, we expand the concept of graph-aware attention to introduce Sparse GIN-Attention, a fine-tuning approach that employs sparse GINs. By interpreting attention matrices as sparse adjacency graphs, this technique enhances the adaptability of pre-trained foundational models with minimal computational overhead, endowing them with graph-aware capabilities. Sparse GIN-Attention fine-tuning achieves improved training dynamics and better generalization compared to alternative methods like low-rank adaption (LoRA). We discuss latent graph-like structures within traditional attention mechanisms, offering a new lens through which Transformers can be understood. By evolving Transformers as hierarchical GIN models for relational reasoning. This perspective suggests profound implications for foundational model development, enabling the design of architectures that dynamically adapt to both local and global dependencies. Applications in bioinformatics, materials science, language modeling, and beyond could benefit from this synthesis of relational and sequential data modeling, setting the stage for interpretable and generalizable modeling strategies.