Многодоменное риманово склеивание графов для построения графовых фундаментальных моделей

Multi-Domain Riemannian Graph Gluing for Building Graph Foundation Models

February 28, 2026

Авторы: Li Sun, Zhenhao Huang, Silei Chen, Lanxu Yang, Junda Ye, Sen Su, Philip S. Yu

cs.AI

Аннотация

Многодоменное предварительное обучение на графах интегрирует знания из различных областей для повышения производительности в целевых доменах, что крайне важно для построения фундаментальных моделей для графов. Несмотря на первоначальные успехи, существующие решения часто не способны дать ответ на фундаментальный вопрос: как именно интегрируются или переносятся знания между доменами? Это теоретическое ограничение побуждает нас переосмыслить согласованность и переносимость между предварительным обучением модели и адаптацией к домену. В данной статье мы предлагаем новый взгляд с позиций римановой геометрии, ключевая идея которого заключается в объединении любого набора графовых данных в единое гладкое риманово многообразие, что позволяет систематически понять интеграцию и перенос знаний. Для достижения этой цели нашим ключевым вкладом является теоретическое обоснование склейки нейронных многообразий, которое сначала характеризует локальную геометрию с помощью адаптивного ортогонального репера, а затем «склеивает» локальные части в единое целое. Основываясь на этой теории, мы представляем фреймворк GraphGlue, который поддерживает пакетное предварительное обучение с прототипированием на основе экспоненциального скользящего среднего (EMA) и предоставляет меру переносимости, основанную на геометрической согласованности. Многочисленные эксперименты демонстрируют его превосходную производительность в разнообразных графовых доменах. Более того, мы эмпирически подтвердили закон геометрического масштабирования GraphGlue, показав, что увеличение объема данных улучшает переносимость модели за счет создания более гладкого многообразия. Код доступен по адресу https://github.com/RiemannGraph/GraphGlue.

English

Multi-domain graph pre-training integrates knowledge from diverse domains to enhance performance in the target domains, which is crucial for building graph foundation models. Despite initial success, existing solutions often fall short of answering a fundamental question: how is knowledge integrated or transferred across domains? This theoretical limitation motivates us to rethink the consistency and transferability between model pre-training and domain adaptation. In this paper, we propose a fresh Riemannian geometry perspective, whose core idea is to merge any graph dataset into a unified, smooth Riemannian manifold, enabling a systematic understanding of knowledge integration and transfer. To achieve this, our key contribution is the theoretical establishment of neural manifold gluing, which first characterizes local geometry using an adaptive orthogonal frame and then "glues" the local pieces together into a coherent whole. Building on this theory, we present the GraphGlue framework, which supports batched pre-training with EMA prototyping and provides a transferability measure based on geometric consistence. Extensive experiments demonstrate its superior performance across diverse graph domains. Moreover, we empirically validated GraphGlue's geometric scaling law, showing that larger quantities of datasets improve model transferability by producing a smoother manifold. Codes are available at https://github.com/RiemannGraph/GraphGlue.