Transformateur de Graphes Invariant

Résumé

La découverte de la rationalité est définie comme la recherche d'un sous-ensemble des données d'entrée qui soutient de manière maximale la prédiction des tâches en aval. Dans le contexte de l'apprentissage automatique sur graphes, la rationalité du graphe est définie comme la localisation du sous-graphe critique dans la topologie du graphe donné, qui détermine fondamentalement les résultats de prédiction. Par opposition au sous-graphe de rationalité, le sous-graphe restant est appelé le sous-graphe environnemental. La rationalisation des graphes peut améliorer les performances du modèle, car la correspondance entre le graphe de rationalité et l'étiquette de prédiction est considérée comme invariante, par hypothèse. Pour garantir le pouvoir discriminant des sous-graphes de rationalité extraits, une technique clé appelée "intervention" est appliquée. L'idée centrale de l'intervention est que, face à tout changement des sous-graphes environnementaux, la sémantique du sous-graphe de rationalité reste invariante, ce qui garantit un résultat de prédiction correct. Cependant, la plupart, sinon la totalité, des travaux existants sur la rationalisation des données de graphes développent leurs stratégies d'intervention au niveau du graphe, ce qui est grossier. Dans cet article, nous proposons des stratégies d'intervention bien adaptées aux données de graphes. Notre idée est motivée par le développement des modèles Transformer, dont le module d'auto-attention fournit des interactions riches entre les nœuds d'entrée. Basé sur le module d'auto-attention, notre Transformer de graphe invariant (IGT) proposé peut réaliser une intervention fine, plus spécifiquement au niveau des nœuds et des nœuds virtuels. Nos expériences approfondies portent sur 7 ensembles de données réels, et l'IGT proposé montre des avantages significatifs en termes de performance par rapport à 13 méthodes de référence.

English

Rationale discovery is defined as finding a subset of the input data that maximally supports the prediction of downstream tasks. In graph machine learning context, graph rationale is defined to locate the critical subgraph in the given graph topology, which fundamentally determines the prediction results. In contrast to the rationale subgraph, the remaining subgraph is named the environment subgraph. Graph rationalization can enhance the model performance as the mapping between the graph rationale and prediction label is viewed as invariant, by assumption. To ensure the discriminative power of the extracted rationale subgraphs, a key technique named "intervention" is applied. The core idea of intervention is that given any changing environment subgraphs, the semantics from the rationale subgraph is invariant, which guarantees the correct prediction result. However, most, if not all, of the existing rationalization works on graph data develop their intervention strategies on the graph level, which is coarse-grained. In this paper, we propose well-tailored intervention strategies on graph data. Our idea is driven by the development of Transformer models, whose self-attention module provides rich interactions between input nodes. Based on the self-attention module, our proposed invariant graph Transformer (IGT) can achieve fine-grained, more specifically, node-level and virtual node-level intervention. Our comprehensive experiments involve 7 real-world datasets, and the proposed IGT shows significant performance advantages compared to 13 baseline methods.

Transformateur de Graphes Invariant

Invariant Graph Transformer

Résumé

Support