Mehrdomänige Riemannsche Graphverklebung zur Entwicklung von Graph-Foundation-Modellen

Multi-Domain Riemannian Graph Gluing for Building Graph Foundation Models

February 28, 2026

Autoren: Li Sun, Zhenhao Huang, Silei Chen, Lanxu Yang, Junda Ye, Sen Su, Philip S. Yu

cs.AI

Zusammenfassung

Multi-Domain-Graph-Pre-Training integriert Wissen aus verschiedenen Domänen, um die Leistung in den Zielbereichen zu verbessern, was für die Entwicklung von Graph-Foundation-Modellen entscheidend ist. Trotz erster Erfolge können bestehende Lösungen oft eine grundlegende Frage nicht beantworten: Wie wird Wissen über Domänen hinweg integriert oder transferiert? Diese theoretische Einschränkung veranlasst uns, die Konsistenz und Transferierbarkeit zwischen Modell-Pre-Training und Domänenanpassung neu zu überdenken. In diesem Artikel schlagen wir eine neue Riemann’sche Geometrie-Perspektive vor, deren Kernidee darin besteht, jeden Graph-Datensatz in eine vereinheitlichte, glatte Riemann’sche Mannigfaltigkeit zu überführen, um ein systematisches Verständnis der Wissensintegration und -übertragung zu ermöglichen. Unser zentraler Beitrag ist die theoretische Etablierung von Neural Manifold Gluing, das zunächst die lokale Geometrie mittels eines adaptiven orthogonalen Rahmens charakterisiert und dann die lokalen Teile zu einem kohärenten Ganzen „zusammenklebt“. Auf dieser Theorie aufbauend präsentieren wir das GraphGlue-Framework, das gebündeltes Pre-Training mit EMA-Prototyping unterstützt und ein Transferierbarkeitsmaß auf Basis geometrischer Konsistenz bereitstellt. Umfangreiche Experimente demonstrieren seine überlegene Leistung über verschiedene Graph-Domänen hinweg. Darüber hinaus validierten wir empirisch das geometrische Skalierungsgesetz von GraphGlue, das zeigt, dass größere Datensatzmengen die Transferierbarkeit des Modells durch die Erzeugung einer glatteren Mannigfaltigkeit verbessern. Codes sind verfügbar unter https://github.com/RiemannGraph/GraphGlue.

English

Multi-domain graph pre-training integrates knowledge from diverse domains to enhance performance in the target domains, which is crucial for building graph foundation models. Despite initial success, existing solutions often fall short of answering a fundamental question: how is knowledge integrated or transferred across domains? This theoretical limitation motivates us to rethink the consistency and transferability between model pre-training and domain adaptation. In this paper, we propose a fresh Riemannian geometry perspective, whose core idea is to merge any graph dataset into a unified, smooth Riemannian manifold, enabling a systematic understanding of knowledge integration and transfer. To achieve this, our key contribution is the theoretical establishment of neural manifold gluing, which first characterizes local geometry using an adaptive orthogonal frame and then "glues" the local pieces together into a coherent whole. Building on this theory, we present the GraphGlue framework, which supports batched pre-training with EMA prototyping and provides a transferability measure based on geometric consistence. Extensive experiments demonstrate its superior performance across diverse graph domains. Moreover, we empirically validated GraphGlue's geometric scaling law, showing that larger quantities of datasets improve model transferability by producing a smoother manifold. Codes are available at https://github.com/RiemannGraph/GraphGlue.