Het beste van twee werelden: Voordelen van Hybride Grafieksequentie Modellen

Best of Both Worlds: Advantages of Hybrid Graph Sequence Models

November 23, 2024

Auteurs: Ali Behrouz, Ali Parviz, Mahdi Karami, Clayton Sanford, Bryan Perozzi, Vahab Mirrokni

cs.AI

Samenvatting

Moderne sequentiemodellen (bijv. Transformers, lineaire RNN's, enz.) zijn naar voren gekomen als dominante ruggengraat van recente diepgaande leersystemen, voornamelijk vanwege hun efficiëntie, representatiekracht en/of vermogen om lange-afhankelijkheden vast te leggen. Het aannemen van deze sequentiemodellen voor graf-gestructureerde gegevens heeft recentelijk aan populariteit gewonnen als alternatief voor Message Passing Neural Networks (MPNNs). Er ontbreekt echter een gemeenschappelijke basis over wat een goed graf-sequentie-model vormt, en een wiskundige beschrijving van de voordelen en tekortkomingen bij het aannemen van verschillende sequentiemodellen voor leren op grafieken. Om dit te bereiken, presenteren we eerst het Graph Sequence Model (GSM), een verenigend kader voor het aannemen van sequentiemodellen voor grafieken, bestaande uit drie hoofdstappen: (1) Tokenisatie, wat de grafiek vertaalt naar een reeks sequenties; (2) Lokale Codering, wat lokale buurten rond elke knoop codeert; en (3) Globale Codering, wat een schaalbaar sequentiemodel gebruikt om lange-afhankelijkheden binnen de sequenties vast te leggen. Dit kader stelt ons in staat om de kracht van verschillende sequentiemodelruggengraat in grafiektaken te begrijpen, te evalueren en te vergelijken. Onze theoretische evaluaties van de representatiekracht van Transformers en moderne recurrente modellen door de lens van globale en lokale graaftaken tonen aan dat er zowel negatieve als positieve kanten zijn voor beide soorten modellen. Voortbouwend op deze observatie presenteren we GSM++, een snel hybride model dat het Hierarchical Affinity Clustering (HAC) algoritme gebruikt om de grafiek te tokeniseren in hiërarchische sequenties, en vervolgens een hybride architectuur van Transformer inzet om deze sequenties te coderen. Onze theoretische en experimentele resultaten ondersteunen het ontwerp van GSM++, waarbij blijkt dat GSM++ beter presteert dan baselines in de meeste benchmarkevaluaties.

English

Modern sequence models (e.g., Transformers, linear RNNs, etc.) emerged as dominant backbones of recent deep learning frameworks, mainly due to their efficiency, representational power, and/or ability to capture long-range dependencies. Adopting these sequence models for graph-structured data has recently gained popularity as the alternative to Message Passing Neural Networks (MPNNs). There is, however, a lack of a common foundation about what constitutes a good graph sequence model, and a mathematical description of the benefits and deficiencies in adopting different sequence models for learning on graphs. To this end, we first present Graph Sequence Model (GSM), a unifying framework for adopting sequence models for graphs, consisting of three main steps: (1) Tokenization, which translates the graph into a set of sequences; (2) Local Encoding, which encodes local neighborhoods around each node; and (3) Global Encoding, which employs a scalable sequence model to capture long-range dependencies within the sequences. This framework allows us to understand, evaluate, and compare the power of different sequence model backbones in graph tasks. Our theoretical evaluations of the representation power of Transformers and modern recurrent models through the lens of global and local graph tasks show that there are both negative and positive sides for both types of models. Building on this observation, we present GSM++, a fast hybrid model that uses the Hierarchical Affinity Clustering (HAC) algorithm to tokenize the graph into hierarchical sequences, and then employs a hybrid architecture of Transformer to encode these sequences. Our theoretical and experimental results support the design of GSM++, showing that GSM++ outperforms baselines in most benchmark evaluations.