Transformador Pre-entrenado Generativo de Grafos

Graph Generative Pre-trained Transformer

January 2, 2025

Autores: Xiaohui Chen, Yinkai Wang, Jiaxing He, Yuanqi Du, Soha Hassoun, Xiaolin Xu, Li-Ping Liu

cs.AI

Resumen

La generación de grafos es una tarea crítica en numerosos dominios, incluido el diseño molecular y el análisis de redes sociales, debido a su capacidad para modelar relaciones complejas y datos estructurados. Mientras que la mayoría de los modelos generativos de grafos modernos utilizan representaciones de matrices de adyacencia, este trabajo revisita un enfoque alternativo que representa los grafos como secuencias de conjuntos de nodos y conjuntos de aristas. Abogamos por este enfoque debido a su codificación eficiente de grafos y proponemos una representación novedosa. Basándonos en esta representación, presentamos el Transformador Pre-entrenado Generativo de Grafos (G2PT), un modelo auto-regresivo que aprende estructuras de grafos mediante la predicción del siguiente token. Para explotar aún más las capacidades de G2PT como modelo base de propósito general, exploramos estrategias de ajuste fino para dos aplicaciones secundarias: generación orientada a objetivos y predicción de propiedades de grafos. Realizamos experimentos extensos en múltiples conjuntos de datos. Los resultados indican que G2PT logra un rendimiento generativo superior tanto en conjuntos de datos de grafos genéricos como de moléculas. Además, G2PT muestra una fuerte adaptabilidad y versatilidad en tareas secundarias, desde el diseño molecular hasta la predicción de propiedades.

English

Graph generation is a critical task in numerous domains, including molecular design and social network analysis, due to its ability to model complex relationships and structured data. While most modern graph generative models utilize adjacency matrix representations, this work revisits an alternative approach that represents graphs as sequences of node set and edge set. We advocate for this approach due to its efficient encoding of graphs and propose a novel representation. Based on this representation, we introduce the Graph Generative Pre-trained Transformer (G2PT), an auto-regressive model that learns graph structures via next-token prediction. To further exploit G2PT's capabilities as a general-purpose foundation model, we explore fine-tuning strategies for two downstream applications: goal-oriented generation and graph property prediction. We conduct extensive experiments across multiple datasets. Results indicate that G2PT achieves superior generative performance on both generic graph and molecule datasets. Furthermore, G2PT exhibits strong adaptability and versatility in downstream tasks from molecular design to property prediction.