Transformador de Grafos Invariante

Resumen

El descubrimiento de la racionalidad se define como la búsqueda de un subconjunto de los datos de entrada que maximice el soporte para la predicción de tareas posteriores. En el contexto del aprendizaje automático en grafos, la racionalidad del grafo se define como la localización del subgrafo crítico dentro de la topología del grafo dado, el cual determina fundamentalmente los resultados de la predicción. En contraste con el subgrafo de racionalidad, el subgrafo restante se denomina subgrafo de entorno. La racionalización de grafos puede mejorar el rendimiento del modelo, ya que se asume que la relación entre el grafo de racionalidad y la etiqueta de predicción es invariante. Para garantizar el poder discriminativo de los subgrafos de racionalidad extraídos, se aplica una técnica clave llamada "intervención". La idea central de la intervención es que, ante cualquier cambio en los subgrafos de entorno, la semántica del subgrafo de racionalidad permanece invariante, lo que asegura el resultado correcto de la predicción. Sin embargo, la mayoría, si no todos, de los trabajos existentes sobre racionalización en datos de grafos desarrollan sus estrategias de intervención a nivel de grafo, lo cual es de grano grueso. En este artículo, proponemos estrategias de intervención bien adaptadas para datos de grafos. Nuestra idea está impulsada por el desarrollo de modelos Transformer, cuyo módulo de autoatención proporciona interacciones ricas entre los nodos de entrada. Basándonos en el módulo de autoatención, nuestro Transformer de grafos invariante (IGT, por sus siglas en inglés) puede lograr intervenciones de grano fino, más específicamente, a nivel de nodo y a nivel de nodo virtual. Nuestros experimentos exhaustivos involucran 7 conjuntos de datos del mundo real, y el IGT propuesto muestra ventajas significativas en rendimiento en comparación con 13 métodos de referencia.

English

Rationale discovery is defined as finding a subset of the input data that maximally supports the prediction of downstream tasks. In graph machine learning context, graph rationale is defined to locate the critical subgraph in the given graph topology, which fundamentally determines the prediction results. In contrast to the rationale subgraph, the remaining subgraph is named the environment subgraph. Graph rationalization can enhance the model performance as the mapping between the graph rationale and prediction label is viewed as invariant, by assumption. To ensure the discriminative power of the extracted rationale subgraphs, a key technique named "intervention" is applied. The core idea of intervention is that given any changing environment subgraphs, the semantics from the rationale subgraph is invariant, which guarantees the correct prediction result. However, most, if not all, of the existing rationalization works on graph data develop their intervention strategies on the graph level, which is coarse-grained. In this paper, we propose well-tailored intervention strategies on graph data. Our idea is driven by the development of Transformer models, whose self-attention module provides rich interactions between input nodes. Based on the self-attention module, our proposed invariant graph Transformer (IGT) can achieve fine-grained, more specifically, node-level and virtual node-level intervention. Our comprehensive experiments involve 7 real-world datasets, and the proposed IGT shows significant performance advantages compared to 13 baseline methods.

Transformador de Grafos Invariante

Invariant Graph Transformer

Resumen

Support