Графовый Генеративный Предобученный Трансформер

Graph Generative Pre-trained Transformer

January 2, 2025

Авторы: Xiaohui Chen, Yinkai Wang, Jiaxing He, Yuanqi Du, Soha Hassoun, Xiaolin Xu, Li-Ping Liu

cs.AI

Аннотация

Генерация графов является критической задачей во многих областях, включая молекулярный дизайн и анализ социальных сетей, благодаря способности моделировать сложные отношения и структурированные данные. В то время как большинство современных моделей генерации графов используют представления матриц смежности, данная работа пересматривает альтернативный подход, представляющий графы в виде последовательностей наборов узлов и наборов рёбер. Мы отстаиваем этот подход из-за его эффективного кодирования графов и предлагаем новое представление. Основываясь на этом представлении, мы представляем Graph Generative Pre-trained Transformer (G2PT), авторегрессионную модель, которая изучает структуры графов через предсказание следующего токена. Для дальнейшего использования возможностей G2PT в качестве универсальной модели-основы, мы исследуем стратегии донастройки для двух прикладных задач: генерации с ориентацией на цель и предсказания свойств графа. Мы проводим обширные эксперименты на нескольких наборах данных. Результаты показывают, что G2PT достигает превосходной генеративной производительности как на общих графовых, так и молекулярных наборах данных. Более того, G2PT проявляет сильную адаптивность и универсальность в задачах, начиная с молекулярного дизайна и заканчивая предсказанием свойств.

English

Graph generation is a critical task in numerous domains, including molecular design and social network analysis, due to its ability to model complex relationships and structured data. While most modern graph generative models utilize adjacency matrix representations, this work revisits an alternative approach that represents graphs as sequences of node set and edge set. We advocate for this approach due to its efficient encoding of graphs and propose a novel representation. Based on this representation, we introduce the Graph Generative Pre-trained Transformer (G2PT), an auto-regressive model that learns graph structures via next-token prediction. To further exploit G2PT's capabilities as a general-purpose foundation model, we explore fine-tuning strategies for two downstream applications: goal-oriented generation and graph property prediction. We conduct extensive experiments across multiple datasets. Results indicate that G2PT achieves superior generative performance on both generic graph and molecule datasets. Furthermore, G2PT exhibits strong adaptability and versatility in downstream tasks from molecular design to property prediction.