불변 그래프 트랜스포머

Invariant Graph Transformer

December 13, 2023

저자: Zhe Xu, Menghai Pan, Yuzhong Chen, Huiyuan Chen, Yuchen Yan, Mahashweta Das, Hanghang Tong

cs.AI

초록

근거 발견은 하위 작업의 예측을 최대한 지원하는 입력 데이터의 부분 집합을 찾는 것으로 정의됩니다. 그래프 머신 러닝 맥락에서, 그래프 근거는 주어진 그래프 토폴로지 내에서 예측 결과를 근본적으로 결정하는 중요한 부분 그래프를 찾는 것으로 정의됩니다. 근거 부분 그래프와 대조적으로, 나머지 부분 그래프는 환경 부분 그래프라고 명명됩니다. 그래프 근거화는 그래프 근거와 예측 레이블 간의 매핑이 불변으로 간주됨에 따라 모델 성능을 향상시킬 수 있습니다. 추출된 근거 부분 그래프의 판별력을 보장하기 위해, "개입"이라는 핵심 기술이 적용됩니다. 개입의 핵심 아이디어는 변화하는 환경 부분 그래프가 주어졌을 때, 근거 부분 그래프의 의미는 불변이며 이는 올바른 예측 결과를 보장한다는 것입니다. 그러나 기존의 그래프 데이터에 대한 근거화 작업 대부분은 그래프 수준에서 개입 전략을 개발하는데, 이는 거친 수준의 접근입니다. 본 논문에서는 그래프 데이터에 대해 잘 정제된 개입 전략을 제안합니다. 우리의 아이디어는 입력 노드 간의 풍부한 상호작용을 제공하는 Transformer 모델의 발전에서 비롯되었습니다. 자기 주의 메커니즘을 기반으로, 우리가 제안한 불변 그래프 Transformer(IGT)는 세밀한, 특히 노드 수준 및 가상 노드 수준의 개입을 달성할 수 있습니다. 우리의 포괄적인 실험은 7개의 실제 데이터셋을 포함하며, 제안된 IGT는 13개의 기준 방법과 비교하여 상당한 성능 우위를 보여줍니다.

English

Rationale discovery is defined as finding a subset of the input data that maximally supports the prediction of downstream tasks. In graph machine learning context, graph rationale is defined to locate the critical subgraph in the given graph topology, which fundamentally determines the prediction results. In contrast to the rationale subgraph, the remaining subgraph is named the environment subgraph. Graph rationalization can enhance the model performance as the mapping between the graph rationale and prediction label is viewed as invariant, by assumption. To ensure the discriminative power of the extracted rationale subgraphs, a key technique named "intervention" is applied. The core idea of intervention is that given any changing environment subgraphs, the semantics from the rationale subgraph is invariant, which guarantees the correct prediction result. However, most, if not all, of the existing rationalization works on graph data develop their intervention strategies on the graph level, which is coarse-grained. In this paper, we propose well-tailored intervention strategies on graph data. Our idea is driven by the development of Transformer models, whose self-attention module provides rich interactions between input nodes. Based on the self-attention module, our proposed invariant graph Transformer (IGT) can achieve fine-grained, more specifically, node-level and virtual node-level intervention. Our comprehensive experiments involve 7 real-world datasets, and the proposed IGT shows significant performance advantages compared to 13 baseline methods.