Transformateur Pré-entraîné Générateur de Graphiques

Graph Generative Pre-trained Transformer

January 2, 2025

Auteurs: Xiaohui Chen, Yinkai Wang, Jiaxing He, Yuanqi Du, Soha Hassoun, Xiaolin Xu, Li-Ping Liu

cs.AI

Résumé

La génération de graphes est une tâche critique dans de nombreux domaines, notamment la conception moléculaire et l'analyse des réseaux sociaux, en raison de sa capacité à modéliser des relations complexes et des données structurées. Alors que la plupart des modèles génératifs de graphes modernes utilisent des représentations de matrices d'adjacence, ce travail revisite une approche alternative qui représente les graphes sous forme de séquences d'ensembles de nœuds et d'ensembles d'arêtes. Nous préconisons cette approche en raison de son encodage efficace des graphes et proposons une nouvelle représentation. Sur la base de cette représentation, nous introduisons le Transformateur Pré-entraîné Générateur de Graphes (G2PT), un modèle auto-régressif qui apprend les structures de graphes via la prédiction du prochain jeton. Pour exploiter davantage les capacités de G2PT en tant que modèle fondamental polyvalent, nous explorons des stratégies de fine-tuning pour deux applications secondaires : la génération orientée vers un but et la prédiction des propriétés des graphes. Nous menons des expériences approfondies sur plusieurs ensembles de données. Les résultats indiquent que G2PT atteint des performances génératives supérieures à la fois sur des ensembles de données de graphes génériques et moléculaires. De plus, G2PT présente une forte adaptabilité et polyvalence dans les tâches secondaires, de la conception moléculaire à la prédiction des propriétés.

English

Graph generation is a critical task in numerous domains, including molecular design and social network analysis, due to its ability to model complex relationships and structured data. While most modern graph generative models utilize adjacency matrix representations, this work revisits an alternative approach that represents graphs as sequences of node set and edge set. We advocate for this approach due to its efficient encoding of graphs and propose a novel representation. Based on this representation, we introduce the Graph Generative Pre-trained Transformer (G2PT), an auto-regressive model that learns graph structures via next-token prediction. To further exploit G2PT's capabilities as a general-purpose foundation model, we explore fine-tuning strategies for two downstream applications: goal-oriented generation and graph property prediction. We conduct extensive experiments across multiple datasets. Results indicate that G2PT achieves superior generative performance on both generic graph and molecule datasets. Furthermore, G2PT exhibits strong adaptability and versatility in downstream tasks from molecular design to property prediction.