Graph Generative Pre-trained Transformer Graph Generative Pre-trained Transformer

Graph Generative Pre-trained Transformer

January 2, 2025

Autoren: Xiaohui Chen, Yinkai Wang, Jiaxing He, Yuanqi Du, Soha Hassoun, Xiaolin Xu, Li-Ping Liu

cs.AI

Zusammenfassung

Die Generierung von Graphen ist eine entscheidende Aufgabe in zahlreichen Bereichen, einschließlich der molekularen Gestaltung und der Analyse sozialer Netzwerke, aufgrund ihrer Fähigkeit, komplexe Beziehungen und strukturierte Daten zu modellieren. Während die meisten modernen Modelle zur generativen Graphmodellierung Adjazenzmatrixdarstellungen verwenden, überdenkt diese Arbeit einen alternativen Ansatz, der Graphen als Sequenzen von Knotenmengen und Kantenmengen darstellt. Wir befürworten diesen Ansatz aufgrund seiner effizienten Kodierung von Graphen und schlagen eine neuartige Darstellung vor. Basierend auf dieser Darstellung stellen wir den Graph Generative Pre-trained Transformer (G2PT) vor, ein autoregressives Modell, das Graphstrukturen durch die Vorhersage des nächsten Tokens lernt. Um die Fähigkeiten von G2PT als allgemeines Grundlagenmodell weiter zu nutzen, untersuchen wir Feinabstimmungsstrategien für zwei nachgelagerte Anwendungen: zielgerichtete Generierung und Vorhersage von Grapheneigenschaften. Wir führen umfangreiche Experimente über mehrere Datensätze durch. Die Ergebnisse zeigen, dass G2PT eine überlegene generative Leistung sowohl auf generischen Graphen- als auch auf Moleküldatensätzen erzielt. Darüber hinaus zeigt G2PT eine starke Anpassungsfähigkeit und Vielseitigkeit bei nachgelagerten Aufgaben von der molekularen Gestaltung bis zur Eigenschaftsvorhersage.

English

Graph generation is a critical task in numerous domains, including molecular design and social network analysis, due to its ability to model complex relationships and structured data. While most modern graph generative models utilize adjacency matrix representations, this work revisits an alternative approach that represents graphs as sequences of node set and edge set. We advocate for this approach due to its efficient encoding of graphs and propose a novel representation. Based on this representation, we introduce the Graph Generative Pre-trained Transformer (G2PT), an auto-regressive model that learns graph structures via next-token prediction. To further exploit G2PT's capabilities as a general-purpose foundation model, we explore fine-tuning strategies for two downstream applications: goal-oriented generation and graph property prediction. We conduct extensive experiments across multiple datasets. Results indicate that G2PT achieves superior generative performance on both generic graph and molecule datasets. Furthermore, G2PT exhibits strong adaptability and versatility in downstream tasks from molecular design to property prediction.