Invariante Graf Transformer

Samenvatting

Redenering ontdekken wordt gedefinieerd als het vinden van een subset van de invoergegevens die de voorspelling van downstream taken maximaal ondersteunt. In de context van grafiekmachinelearning wordt grafiekredenering gedefinieerd als het lokaliseren van de kritieke subgrafiek in de gegeven grafiektopologie, die fundamenteel de voorspellingsresultaten bepaalt. In tegenstelling tot de redeneringssubgrafiek wordt de resterende subgrafiek de omgevingssubgrafiek genoemd. Grafiekrationalisatie kan de modelprestaties verbeteren, omdat de mapping tussen de grafiekredenering en het voorspellingslabel als invariant wordt beschouwd, volgens de aanname. Om de discriminerende kracht van de geëxtraheerde redeneringssubgrafieken te waarborgen, wordt een belangrijke techniek genaamd "interventie" toegepast. De kern van interventie is dat, gegeven enige veranderende omgevingssubgrafieken, de semantiek van de redeneringssubgrafiek invariant blijft, wat het correcte voorspellingsresultaat garandeert. Echter, de meeste, zo niet alle, bestaande rationalisatiewerkzaamheden op grafiekgegevens ontwikkelen hun interventiestrategieën op grafiekniveau, wat grofkorrelig is. In dit artikel stellen we goed afgestemde interventiestrategieën voor op grafiekgegevens voor. Ons idee wordt gedreven door de ontwikkeling van Transformer-modellen, waarvan de zelf-attentiemodule rijke interacties tussen invoerknooppunten biedt. Op basis van de zelf-attentiemodule kan onze voorgestelde invariante grafiek Transformer (IGT) fijnkorrelige, meer specifiek, knooppuntniveau en virtueel knooppuntniveau interventie bereiken. Onze uitgebreide experimenten omvatten 7 real-world datasets, en de voorgestelde IGT toont significante prestatievoordelen in vergelijking met 13 baseline methoden.

English

Rationale discovery is defined as finding a subset of the input data that maximally supports the prediction of downstream tasks. In graph machine learning context, graph rationale is defined to locate the critical subgraph in the given graph topology, which fundamentally determines the prediction results. In contrast to the rationale subgraph, the remaining subgraph is named the environment subgraph. Graph rationalization can enhance the model performance as the mapping between the graph rationale and prediction label is viewed as invariant, by assumption. To ensure the discriminative power of the extracted rationale subgraphs, a key technique named "intervention" is applied. The core idea of intervention is that given any changing environment subgraphs, the semantics from the rationale subgraph is invariant, which guarantees the correct prediction result. However, most, if not all, of the existing rationalization works on graph data develop their intervention strategies on the graph level, which is coarse-grained. In this paper, we propose well-tailored intervention strategies on graph data. Our idea is driven by the development of Transformer models, whose self-attention module provides rich interactions between input nodes. Based on the self-attention module, our proposed invariant graph Transformer (IGT) can achieve fine-grained, more specifically, node-level and virtual node-level intervention. Our comprehensive experiments involve 7 real-world datasets, and the proposed IGT shows significant performance advantages compared to 13 baseline methods.

Invariante Graf Transformer

Invariant Graph Transformer

Samenvatting

Support