Graph-bewusste Isomorphe Aufmerksamkeit für adaptive Dynamik in Transformatoren

Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers

January 4, 2025

Autoren: Markus J. Buehler

cs.AI

Zusammenfassung

Wir präsentieren einen Ansatz zur Modifikation von Transformer-Architekturen durch die Integration von graphenbewusstem relationalem Denken in den Aufmerksamkeitsmechanismus, wobei Konzepte aus Graph-Neuronalen Netzwerken und Sprachmodellierung zusammengeführt werden. Aufbauend auf der inhärenten Verbindung zwischen Aufmerksamkeit und Graphentheorie formulieren wir den Aufmerksamkeitsmechanismus des Transformers als Graphenoperation um und schlagen Graph-Bewusste Isomorphe Aufmerksamkeit vor. Diese Methode nutzt fortschrittliche Graphmodellierungsstrategien, einschließlich Graphen-Isomorphie-Netzwerken (GIN) und Prinzipieller Nachbarschaftsaggregation (PNA), um die Darstellung relationaler Strukturen zu bereichern. Unser Ansatz erfasst komplexe Abhängigkeiten und generalisiert über Aufgaben hinweg, wie durch eine verringerte Generalisierungslücke und verbesserte Lernleistung belegt wird. Darüber hinaus erweitern wir das Konzept der graphenbewussten Aufmerksamkeit, um Sparse GIN-Aufmerksamkeit einzuführen, einen Feinabstimmungsansatz, der Sparse GINs verwendet. Indem Aufmerksamkeitsmatrizen als dünnbesiedelte Adjazenzgraphen interpretiert werden, verbessert diese Technik die Anpassungsfähigkeit von vorab trainierten Grundlagenmodellen mit minimalem Rechenaufwand und verleiht ihnen graphenbewusste Fähigkeiten. Die Feinabstimmung mit Sparse GIN-Aufmerksamkeit erzielt verbesserte Trainingsdynamik und bessere Generalisierung im Vergleich zu alternativen Methoden wie niedrig-rangiger Anpassung (LoRA). Wir diskutieren latente graphenähnliche Strukturen innerhalb traditioneller Aufmerksamkeitsmechanismen und bieten eine neue Perspektive, durch die Transformers verstanden werden können, indem sie sich als hierarchische GIN-Modelle für relationales Denken weiterentwickeln. Diese Perspektive deutet auf tiefgreifende Auswirkungen auf die Entwicklung von Grundlagenmodellen hin und ermöglicht die Gestaltung von Architekturen, die sich dynamisch an lokale und globale Abhängigkeiten anpassen können. Anwendungen in der Bioinformatik, Materialwissenschaft, Sprachmodellierung und darüber hinaus könnten von dieser Synthese relationaler und sequenzieller Datenmodellierung profitieren und den Weg für interpretierbare und generalisierbare Modellierungsstrategien ebnen.

English

We present an approach to modifying Transformer architectures by integrating graph-aware relational reasoning into the attention mechanism, merging concepts from graph neural networks and language modeling. Building on the inherent connection between attention and graph theory, we reformulate the Transformer's attention mechanism as a graph operation and propose Graph-Aware Isomorphic Attention. This method leverages advanced graph modeling strategies, including Graph Isomorphism Networks (GIN) and Principal Neighborhood Aggregation (PNA), to enrich the representation of relational structures. Our approach captures complex dependencies and generalizes across tasks, as evidenced by a reduced generalization gap and improved learning performance. Additionally, we expand the concept of graph-aware attention to introduce Sparse GIN-Attention, a fine-tuning approach that employs sparse GINs. By interpreting attention matrices as sparse adjacency graphs, this technique enhances the adaptability of pre-trained foundational models with minimal computational overhead, endowing them with graph-aware capabilities. Sparse GIN-Attention fine-tuning achieves improved training dynamics and better generalization compared to alternative methods like low-rank adaption (LoRA). We discuss latent graph-like structures within traditional attention mechanisms, offering a new lens through which Transformers can be understood. By evolving Transformers as hierarchical GIN models for relational reasoning. This perspective suggests profound implications for foundational model development, enabling the design of architectures that dynamically adapt to both local and global dependencies. Applications in bioinformatics, materials science, language modeling, and beyond could benefit from this synthesis of relational and sequential data modeling, setting the stage for interpretable and generalizable modeling strategies.