Trasformatore di Grafi Invariante

Invariant Graph Transformer

December 13, 2023

Autori: Zhe Xu, Menghai Pan, Yuzhong Chen, Huiyuan Chen, Yuchen Yan, Mahashweta Das, Hanghang Tong

cs.AI

Abstract

La scoperta della razionalità è definita come l'individuazione di un sottoinsieme dei dati di input che supporta in modo massimale la previsione dei task downstream. Nel contesto dell'apprendimento automatico su grafi, la razionalità del grafo è definita come la localizzazione del sottografo critico nella topologia del grafo dato, che determina fondamentalmente i risultati della previsione. In contrasto con il sottografo razionale, il sottografo rimanente è denominato sottografo ambiente. La razionalizzazione del grafo può migliorare le prestazioni del modello poiché la mappatura tra il grafo razionale e l'etichetta di previsione è considerata invariante, per ipotesi. Per garantire il potere discriminativo dei sottografi razionali estratti, viene applicata una tecnica chiave denominata "intervento". L'idea centrale dell'intervento è che, dati sottografi ambiente in cambiamento, la semantica del sottografo razionale rimane invariante, garantendo così il risultato di previsione corretto. Tuttavia, la maggior parte, se non tutte, delle opere esistenti sulla razionalizzazione dei dati su grafi sviluppano le proprie strategie di intervento a livello di grafo, che è grossolano. In questo articolo, proponiamo strategie di intervento ben calibrate sui dati su grafi. La nostra idea è guidata dallo sviluppo dei modelli Transformer, il cui modulo di self-attention fornisce interazioni ricche tra i nodi di input. Basandoci sul modulo di self-attention, il nostro Transformer invariante su grafi (IGT) proposto può raggiungere un intervento fine, più specificamente, a livello di nodo e a livello di nodo virtuale. I nostri esperimenti completi coinvolgono 7 dataset del mondo reale, e il IGT proposto mostra significativi vantaggi prestazionali rispetto a 13 metodi di base.

English

Rationale discovery is defined as finding a subset of the input data that maximally supports the prediction of downstream tasks. In graph machine learning context, graph rationale is defined to locate the critical subgraph in the given graph topology, which fundamentally determines the prediction results. In contrast to the rationale subgraph, the remaining subgraph is named the environment subgraph. Graph rationalization can enhance the model performance as the mapping between the graph rationale and prediction label is viewed as invariant, by assumption. To ensure the discriminative power of the extracted rationale subgraphs, a key technique named "intervention" is applied. The core idea of intervention is that given any changing environment subgraphs, the semantics from the rationale subgraph is invariant, which guarantees the correct prediction result. However, most, if not all, of the existing rationalization works on graph data develop their intervention strategies on the graph level, which is coarse-grained. In this paper, we propose well-tailored intervention strategies on graph data. Our idea is driven by the development of Transformer models, whose self-attention module provides rich interactions between input nodes. Based on the self-attention module, our proposed invariant graph Transformer (IGT) can achieve fine-grained, more specifically, node-level and virtual node-level intervention. Our comprehensive experiments involve 7 real-world datasets, and the proposed IGT shows significant performance advantages compared to 13 baseline methods.