O Melhor dos Dois Mundos: Vantagens dos Modelos Híbridos de Sequência de Grafos

Best of Both Worlds: Advantages of Hybrid Graph Sequence Models

November 23, 2024

Autores: Ali Behrouz, Ali Parviz, Mahdi Karami, Clayton Sanford, Bryan Perozzi, Vahab Mirrokni

cs.AI

Resumo

Modelos de sequência modernos (por exemplo, Transformers, RNNs lineares, etc.) surgiram como espinha dorsal dominante dos recentes frameworks de aprendizado profundo, principalmente devido à sua eficiência, poder representacional e/ou capacidade de capturar dependências de longo alcance. A adoção desses modelos de sequência para dados estruturados em grafo tem ganhado popularidade recentemente como alternativa às Redes Neurais de Passagem de Mensagens (MPNNs). No entanto, há uma falta de uma base comum sobre o que constitui um bom modelo de sequência de grafo, e uma descrição matemática dos benefícios e deficiências na adoção de diferentes modelos de sequência para aprendizado em grafos. Para isso, apresentamos primeiro o Modelo de Sequência de Grafo (GSM), um framework unificador para adoção de modelos de sequência para grafos, composto por três etapas principais: (1) Tokenização, que traduz o grafo em um conjunto de sequências; (2) Codificação Local, que codifica os vizinhos locais ao redor de cada nó; e (3) Codificação Global, que emprega um modelo de sequência escalável para capturar dependências de longo alcance dentro das sequências. Esse framework nos permite entender, avaliar e comparar o poder de diferentes espinhas dorsais de modelos de sequência em tarefas de grafo. Nossas avaliações teóricas do poder de representação dos Transformers e dos modernos modelos recorrentes através da perspectiva de tarefas globais e locais em grafos mostram que existem aspectos negativos e positivos para ambos os tipos de modelos. Com base nessa observação, apresentamos o GSM++, um modelo híbrido rápido que utiliza o algoritmo de Agrupamento de Afinidade Hierárquica (HAC) para tokenizar o grafo em sequências hierárquicas, e em seguida emprega uma arquitetura híbrida de Transformer para codificar essas sequências. Nossos resultados teóricos e experimentais apoiam o design do GSM++, mostrando que o GSM++ supera as bases em avaliações de benchmark na maioria dos casos.

English

Modern sequence models (e.g., Transformers, linear RNNs, etc.) emerged as dominant backbones of recent deep learning frameworks, mainly due to their efficiency, representational power, and/or ability to capture long-range dependencies. Adopting these sequence models for graph-structured data has recently gained popularity as the alternative to Message Passing Neural Networks (MPNNs). There is, however, a lack of a common foundation about what constitutes a good graph sequence model, and a mathematical description of the benefits and deficiencies in adopting different sequence models for learning on graphs. To this end, we first present Graph Sequence Model (GSM), a unifying framework for adopting sequence models for graphs, consisting of three main steps: (1) Tokenization, which translates the graph into a set of sequences; (2) Local Encoding, which encodes local neighborhoods around each node; and (3) Global Encoding, which employs a scalable sequence model to capture long-range dependencies within the sequences. This framework allows us to understand, evaluate, and compare the power of different sequence model backbones in graph tasks. Our theoretical evaluations of the representation power of Transformers and modern recurrent models through the lens of global and local graph tasks show that there are both negative and positive sides for both types of models. Building on this observation, we present GSM++, a fast hybrid model that uses the Hierarchical Affinity Clustering (HAC) algorithm to tokenize the graph into hierarchical sequences, and then employs a hybrid architecture of Transformer to encode these sequences. Our theoretical and experimental results support the design of GSM++, showing that GSM++ outperforms baselines in most benchmark evaluations.