Incollaggio Grafico Riemanniano Multi-Dominio per la Costruzione di Modelli Grafo-Fondamentali

Multi-Domain Riemannian Graph Gluing for Building Graph Foundation Models

February 28, 2026

Autori: Li Sun, Zhenhao Huang, Silei Chen, Lanxu Yang, Junda Ye, Sen Su, Philip S. Yu

cs.AI

Abstract

Il pre-addestramento multi-dominio su grafi integra conoscenze da domini diversi per migliorare le prestazioni nei domini target, aspetto cruciale per la costruzione di modelli fondazionali su grafi. Nonostante i successi iniziali, le soluzioni esistenti spesso non rispondono ad una domanda fondamentale: come viene integrata o trasferita la conoscenza tra domini? Questa limitazione teorica ci spinge a riconsiderare la coerenza e la trasferibilità tra pre-addestramento del modello e adattamento al dominio. In questo articolo proponiamo una nuova prospettiva basata sulla geometria riemanniana, la cui idea centrale è fondere qualsiasi dataset di grafi in una varietà di Riemann liscia e unificata, consentendo una comprensione sistematica dell'integrazione e del trasferimento della conoscenza. Per raggiungere questo obiettivo, il nostro contributo chiave è la definizione teorica dell'incollamento di varietà neurali, che prima caratterizza la geometria locale usando un sistema di riferimento ortogonale adattivo, per poi "incollare" insieme i pezzi locali in un tutto coerente. Sulla base di questa teoria, presentiamo il framework GraphGlue, che supporta il pre-addestramento in batch con prototipazione EMA e fornisce una misura di trasferibilità basata sulla coerenza geometrica. Esperimenti estensivi ne dimostrano le prestazioni superiori across diversi domini di grafi. Inoltre, abbiamo validato empiricamente la legge di scaling geometrico di GraphGlue, mostrando che quantità maggiori di dataset migliorano la trasferibilità del modello producendo una varietà più liscia. I codici sono disponibili su https://github.com/RiemannGraph/GraphGlue.

English

Multi-domain graph pre-training integrates knowledge from diverse domains to enhance performance in the target domains, which is crucial for building graph foundation models. Despite initial success, existing solutions often fall short of answering a fundamental question: how is knowledge integrated or transferred across domains? This theoretical limitation motivates us to rethink the consistency and transferability between model pre-training and domain adaptation. In this paper, we propose a fresh Riemannian geometry perspective, whose core idea is to merge any graph dataset into a unified, smooth Riemannian manifold, enabling a systematic understanding of knowledge integration and transfer. To achieve this, our key contribution is the theoretical establishment of neural manifold gluing, which first characterizes local geometry using an adaptive orthogonal frame and then "glues" the local pieces together into a coherent whole. Building on this theory, we present the GraphGlue framework, which supports batched pre-training with EMA prototyping and provides a transferability measure based on geometric consistence. Extensive experiments demonstrate its superior performance across diverse graph domains. Moreover, we empirically validated GraphGlue's geometric scaling law, showing that larger quantities of datasets improve model transferability by producing a smoother manifold. Codes are available at https://github.com/RiemannGraph/GraphGlue.