Invarianter Graph-Transformer

Invariant Graph Transformer

December 13, 2023

Autoren: Zhe Xu, Menghai Pan, Yuzhong Chen, Huiyuan Chen, Yuchen Yan, Mahashweta Das, Hanghang Tong

cs.AI

Zusammenfassung

Die Entdeckung von Rationalen wird definiert als das Finden einer Teilmenge der Eingabedaten, die die Vorhersage von nachgelagerten Aufgaben maximal unterstützt. Im Kontext des maschinellen Lernens auf Graphen wird das Graph-Rational definiert als die Lokalisierung des kritischen Teilgraphen in der gegebenen Graphentopologie, der die Vorhersageergebnisse grundlegend bestimmt. Im Gegensatz zum Rational-Teilgraphen wird der verbleibende Teilgraph als Umwelt-Teilgraph bezeichnet. Die Graph-Rationalisierung kann die Modellleistung verbessern, da die Abbildung zwischen dem Graph-Rational und dem Vorhersagelabel als invariant angenommen wird. Um die diskriminative Kraft der extrahierten Rational-Teilgraphen sicherzustellen, wird eine Schlüsseltechnik namens „Intervention“ angewendet. Die Kernidee der Intervention besteht darin, dass die Semantik des Rational-Teilgraphen bei beliebigen Veränderungen des Umwelt-Teilgraphen invariant bleibt, was das korrekte Vorhersageergebnis gewährleistet. Die meisten, wenn nicht alle, bestehenden Rationalisierungsarbeiten auf Graphdaten entwickeln ihre Interventionsstrategien jedoch auf der Graphenebene, was grobkörnig ist. In diesem Artikel schlagen wir maßgeschneiderte Interventionsstrategien für Graphdaten vor. Unsere Idee wird durch die Entwicklung von Transformer-Modellen inspiriert, deren Selbstaufmerksamkeitsmodul reiche Interaktionen zwischen den Eingabeknoten bietet. Basierend auf dem Selbstaufmerksamkeitsmodul kann unser vorgeschlagener invarianter Graph-Transformer (IGT) feinkörnige, genauer gesagt, knoten- und virtuell-knotenbasierte Interventionen erreichen. Unsere umfassenden Experimente umfassen 7 reale Datensätze, und der vorgeschlagene IGT zeigt signifikante Leistungsvorteile im Vergleich zu 13 Baseline-Methoden.

English

Rationale discovery is defined as finding a subset of the input data that maximally supports the prediction of downstream tasks. In graph machine learning context, graph rationale is defined to locate the critical subgraph in the given graph topology, which fundamentally determines the prediction results. In contrast to the rationale subgraph, the remaining subgraph is named the environment subgraph. Graph rationalization can enhance the model performance as the mapping between the graph rationale and prediction label is viewed as invariant, by assumption. To ensure the discriminative power of the extracted rationale subgraphs, a key technique named "intervention" is applied. The core idea of intervention is that given any changing environment subgraphs, the semantics from the rationale subgraph is invariant, which guarantees the correct prediction result. However, most, if not all, of the existing rationalization works on graph data develop their intervention strategies on the graph level, which is coarse-grained. In this paper, we propose well-tailored intervention strategies on graph data. Our idea is driven by the development of Transformer models, whose self-attention module provides rich interactions between input nodes. Based on the self-attention module, our proposed invariant graph Transformer (IGT) can achieve fine-grained, more specifically, node-level and virtual node-level intervention. Our comprehensive experiments involve 7 real-world datasets, and the proposed IGT shows significant performance advantages compared to 13 baseline methods.