Atención Isomórfica Consciente del Grafo para Dinámicas Adaptativas en Transformadores

Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers

January 4, 2025

Autores: Markus J. Buehler

cs.AI

Resumen

Presentamos un enfoque para modificar las arquitecturas Transformer integrando el razonamiento relacional consciente de grafos en el mecanismo de atención, fusionando conceptos de redes neuronales de grafos y modelado de lenguaje. Basándonos en la conexión inherente entre la atención y la teoría de grafos, reformulamos el mecanismo de atención del Transformer como una operación de grafo y proponemos la Atención Isomórfica Consciente de Grafos. Este método aprovecha estrategias avanzadas de modelado de grafos, incluidas las Redes de Isomorfismo de Grafos (GIN) y la Agregación de Vecindario Principal (PNA), para enriquecer la representación de estructuras relacionales. Nuestro enfoque captura dependencias complejas y generaliza a través de tareas, como se evidencia por una brecha de generalización reducida y un rendimiento de aprendizaje mejorado. Además, expandimos el concepto de atención consciente de grafos para introducir la Atención GIN-Esparcida, un enfoque de ajuste fino que emplea GINs dispersos. Al interpretar las matrices de atención como grafos de adyacencia dispersos, esta técnica mejora la adaptabilidad de los modelos fundamentales preentrenados con un mínimo costo computacional, dotándolos de capacidades conscientes de grafos. El ajuste fino de la Atención GIN-Esparcida logra una dinámica de entrenamiento mejorada y una mejor generalización en comparación con métodos alternativos como la adaptación de bajo rango (LoRA). Discutimos estructuras latentes similares a grafos dentro de los mecanismos de atención tradicionales, ofreciendo una nueva perspectiva a través de la cual los Transformers pueden ser comprendidos. Al evolucionar los Transformers como modelos jerárquicos GIN para el razonamiento relacional. Esta perspectiva sugiere implicaciones profundas para el desarrollo de modelos fundamentales, permitiendo el diseño de arquitecturas que se adaptan dinámicamente a dependencias locales y globales. Aplicaciones en bioinformática, ciencia de materiales, modelado de lenguaje y más podrían beneficiarse de esta síntesis de modelado de datos relacionales y secuenciales, sentando las bases para estrategias de modelado interpretables y generalizables.

English

We present an approach to modifying Transformer architectures by integrating graph-aware relational reasoning into the attention mechanism, merging concepts from graph neural networks and language modeling. Building on the inherent connection between attention and graph theory, we reformulate the Transformer's attention mechanism as a graph operation and propose Graph-Aware Isomorphic Attention. This method leverages advanced graph modeling strategies, including Graph Isomorphism Networks (GIN) and Principal Neighborhood Aggregation (PNA), to enrich the representation of relational structures. Our approach captures complex dependencies and generalizes across tasks, as evidenced by a reduced generalization gap and improved learning performance. Additionally, we expand the concept of graph-aware attention to introduce Sparse GIN-Attention, a fine-tuning approach that employs sparse GINs. By interpreting attention matrices as sparse adjacency graphs, this technique enhances the adaptability of pre-trained foundational models with minimal computational overhead, endowing them with graph-aware capabilities. Sparse GIN-Attention fine-tuning achieves improved training dynamics and better generalization compared to alternative methods like low-rank adaption (LoRA). We discuss latent graph-like structures within traditional attention mechanisms, offering a new lens through which Transformers can be understood. By evolving Transformers as hierarchical GIN models for relational reasoning. This perspective suggests profound implications for foundational model development, enabling the design of architectures that dynamically adapt to both local and global dependencies. Applications in bioinformatics, materials science, language modeling, and beyond could benefit from this synthesis of relational and sequential data modeling, setting the stage for interpretable and generalizable modeling strategies.