Grafische Generatieve Voorgetrainde Transformer

Graph Generative Pre-trained Transformer

January 2, 2025

Auteurs: Xiaohui Chen, Yinkai Wang, Jiaxing He, Yuanqi Du, Soha Hassoun, Xiaolin Xu, Li-Ping Liu

cs.AI

Samenvatting

Grafiekgeneratie is een cruciale taak in tal van domeinen, waaronder moleculair ontwerp en analyse van sociale netwerken, vanwege het vermogen om complexe relaties en gestructureerde gegevens te modelleren. Terwijl de meeste moderne grafiekgeneratiemodellen gebruikmaken van representaties met adjacentiematrixen, herziet dit werk een alternatieve benadering waarbij grafieken worden voorgesteld als sequenties van knoopverzamelingen en randverzamelingen. Wij pleiten voor deze benadering vanwege de efficiënte codering van grafieken en stellen een nieuw type representatie voor. Op basis van deze representatie introduceren we de Grafiekgenererende Voorgetrainde Transformer (G2PT), een auto-regressief model dat grafiekstructuren leert via voorspelling van het volgende token. Om verder te profiteren van de mogelijkheden van G2PT als een algemeen funderingsmodel, onderzoeken we fine-tuning strategieën voor twee toepassingen: doelgerichte generatie en voorspelling van grafiekeigenschappen. We voeren uitgebreide experimenten uit op meerdere datasets. De resultaten geven aan dat G2PT superieure generatieve prestaties behaalt op zowel generieke grafiek- als moleculaire datasets. Bovendien vertoont G2PT sterke aanpasbaarheid en veelzijdigheid in downstream taken, van moleculair ontwerp tot eigenschapvoorspelling.

English

Graph generation is a critical task in numerous domains, including molecular design and social network analysis, due to its ability to model complex relationships and structured data. While most modern graph generative models utilize adjacency matrix representations, this work revisits an alternative approach that represents graphs as sequences of node set and edge set. We advocate for this approach due to its efficient encoding of graphs and propose a novel representation. Based on this representation, we introduce the Graph Generative Pre-trained Transformer (G2PT), an auto-regressive model that learns graph structures via next-token prediction. To further exploit G2PT's capabilities as a general-purpose foundation model, we explore fine-tuning strategies for two downstream applications: goal-oriented generation and graph property prediction. We conduct extensive experiments across multiple datasets. Results indicate that G2PT achieves superior generative performance on both generic graph and molecule datasets. Furthermore, G2PT exhibits strong adaptability and versatility in downstream tasks from molecular design to property prediction.