Transformador de Grafos Invariante

Invariant Graph Transformer

December 13, 2023

Autores: Zhe Xu, Menghai Pan, Yuzhong Chen, Huiyuan Chen, Yuchen Yan, Mahashweta Das, Hanghang Tong

cs.AI

Resumo

A descoberta de racional é definida como encontrar um subconjunto dos dados de entrada que maximiza o suporte à previsão de tarefas subsequentes. No contexto de aprendizado de máquina em grafos, o racional de grafo é definido como a localização do subgrafo crítico na topologia do grafo dado, que fundamentalmente determina os resultados da previsão. Em contraste com o subgrafo racional, o subgrafo restante é denominado subgrafo ambiente. A racionalização de grafos pode melhorar o desempenho do modelo, pois o mapeamento entre o racional de grafo e o rótulo de previsão é considerado invariante, por suposição. Para garantir o poder discriminativo dos subgrafos racionais extraídos, uma técnica-chave chamada "intervenção" é aplicada. A ideia central da intervenção é que, dados quaisquer subgrafos ambiente em mudança, a semântica do subgrafo racional permanece invariante, o que garante o resultado correto da previsão. No entanto, a maioria, se não todas, das abordagens existentes de racionalização em dados de grafos desenvolvem suas estratégias de intervenção no nível do grafo, o que é grosseiro. Neste artigo, propomos estratégias de intervenção bem ajustadas em dados de grafos. Nossa ideia é impulsionada pelo desenvolvimento de modelos Transformer, cujo módulo de auto-atenção fornece interações ricas entre os nós de entrada. Com base no módulo de auto-atenção, nosso Transformer de Grafo Invariante (IGT) proposto pode alcançar intervenção em nível fino, mais especificamente, em nível de nó e em nível de nó virtual. Nossos experimentos abrangentes envolvem 7 conjuntos de dados do mundo real, e o IGT proposto mostra vantagens significativas de desempenho em comparação com 13 métodos de linha de base.

English

Rationale discovery is defined as finding a subset of the input data that maximally supports the prediction of downstream tasks. In graph machine learning context, graph rationale is defined to locate the critical subgraph in the given graph topology, which fundamentally determines the prediction results. In contrast to the rationale subgraph, the remaining subgraph is named the environment subgraph. Graph rationalization can enhance the model performance as the mapping between the graph rationale and prediction label is viewed as invariant, by assumption. To ensure the discriminative power of the extracted rationale subgraphs, a key technique named "intervention" is applied. The core idea of intervention is that given any changing environment subgraphs, the semantics from the rationale subgraph is invariant, which guarantees the correct prediction result. However, most, if not all, of the existing rationalization works on graph data develop their intervention strategies on the graph level, which is coarse-grained. In this paper, we propose well-tailored intervention strategies on graph data. Our idea is driven by the development of Transformer models, whose self-attention module provides rich interactions between input nodes. Based on the self-attention module, our proposed invariant graph Transformer (IGT) can achieve fine-grained, more specifically, node-level and virtual node-level intervention. Our comprehensive experiments involve 7 real-world datasets, and the proposed IGT shows significant performance advantages compared to 13 baseline methods.