Инвариантный графовый трансформер

Invariant Graph Transformer

December 13, 2023

Авторы: Zhe Xu, Menghai Pan, Yuzhong Chen, Huiyuan Chen, Yuchen Yan, Mahashweta Das, Hanghang Tong

cs.AI

Аннотация

Обнаружение рационального обоснования определяется как поиск подмножества входных данных, которые максимально поддерживают прогнозирование в последующих задачах. В контексте машинного обучения на графах рациональное обоснование графа определяется как выделение критического подграфа в заданной топологии графа, который фундаментально определяет результаты прогнозирования. В отличие от рационального подграфа, оставшийся подграф называется подграфом окружения. Рационализация графа может улучшить производительность модели, поскольку предполагается, что соответствие между рациональным подграфом и меткой прогноза является инвариантным. Для обеспечения дискриминативной способности извлеченных рациональных подграфов применяется ключевая техника, называемая "интервенцией". Основная идея интервенции заключается в том, что при любых изменениях подграфа окружения семантика рационального подграфа остается неизменной, что гарантирует правильный результат прогнозирования. Однако большинство, если не все, существующие работы по рационализации на графах разрабатывают свои стратегии интервенции на уровне графа, что является грубым подходом. В данной статье мы предлагаем тщательно разработанные стратегии интервенции на графах. Наша идея вдохновлена развитием моделей Transformer, чей модуль самовнимания обеспечивает богатое взаимодействие между входными узлами. На основе модуля самовнимания наш предложенный инвариантный графовый Transformer (IGT) позволяет достичь более детализированной, а именно узлового и виртуального узлового уровня, интервенции. Наши комплексные эксперименты включают 7 реальных наборов данных, и предложенный IGT демонстрирует значительные преимущества в производительности по сравнению с 13 базовыми методами.

English

Rationale discovery is defined as finding a subset of the input data that maximally supports the prediction of downstream tasks. In graph machine learning context, graph rationale is defined to locate the critical subgraph in the given graph topology, which fundamentally determines the prediction results. In contrast to the rationale subgraph, the remaining subgraph is named the environment subgraph. Graph rationalization can enhance the model performance as the mapping between the graph rationale and prediction label is viewed as invariant, by assumption. To ensure the discriminative power of the extracted rationale subgraphs, a key technique named "intervention" is applied. The core idea of intervention is that given any changing environment subgraphs, the semantics from the rationale subgraph is invariant, which guarantees the correct prediction result. However, most, if not all, of the existing rationalization works on graph data develop their intervention strategies on the graph level, which is coarse-grained. In this paper, we propose well-tailored intervention strategies on graph data. Our idea is driven by the development of Transformer models, whose self-attention module provides rich interactions between input nodes. Based on the self-attention module, our proposed invariant graph Transformer (IGT) can achieve fine-grained, more specifically, node-level and virtual node-level intervention. Our comprehensive experiments involve 7 real-world datasets, and the proposed IGT shows significant performance advantages compared to 13 baseline methods.