그래프 파운데이션 모델 구축을 위한 다중 도메인 리만 그래프 접합

Multi-Domain Riemannian Graph Gluing for Building Graph Foundation Models

February 28, 2026

저자: Li Sun, Zhenhao Huang, Silei Chen, Lanxu Yang, Junda Ye, Sen Su, Philip S. Yu

cs.AI

초록

다중 도메인 그래프 사전 학습은 다양한 도메인의 지식을 통합하여 대상 도메인에서의 성능을 향상시키며, 이는 그래프 기초 모델 구축에 있어 중요합니다. 초기 성공에도 불구하고, 기존 솔루션들은 근본적인 질문에 대한 답을 제시하는 데 종종 부족합니다: 도메인 간 지식은 어떻게 통합되거나 전달되는가? 이러한 이론적 한계는 모델 사전 학습과 도메인 적응 간의 일관성과 전이 가능성을 재고하도록 동기를 부여합니다. 본 논문에서는 새로운 리만 기하학적 관점을 제안하며, 그 핵심 아이디어는 모든 그래프 데이터셋을 통합된 매끄러운 리만 다양체로 병합하여 지식 통합 및 전달에 대한 체계적인 이해를 가능하게 하는 것입니다. 이를 위해 우리의 주요 기여는 신경망 다양체 접합 이론을 정립한 것으로, 이는 먼저 적응형 직교 프레임을 사용하여 국소 기하학을 특징짓고 затем 국소 조각들을 응집성 있는 전체로 "접합"합니다. 이 이론을 바탕으로 EMA 프로토타이핑을 통한 배치 사전 학습을 지원하고 기하학적 일관성에 기반한 전이 가능성 측정을 제공하는 GraphGlue 프레임워크를 제시합니다. 다양한 그래프 도메인에서의 폭넓은 실험을 통해 그 우수한 성능을 입증했습니다. 더 나아가, 더 많은 데이터셋이 더 매끄러운 다양체를 생성함으로써 모델의 전이 가능성을 향상시킨다는 GraphGlue의 기하학적 스케일링 법칙을 실증적으로 검증했습니다. 코드는 https://github.com/RiemannGraph/GraphGlue에서 이용 가능합니다.

English

Multi-domain graph pre-training integrates knowledge from diverse domains to enhance performance in the target domains, which is crucial for building graph foundation models. Despite initial success, existing solutions often fall short of answering a fundamental question: how is knowledge integrated or transferred across domains? This theoretical limitation motivates us to rethink the consistency and transferability between model pre-training and domain adaptation. In this paper, we propose a fresh Riemannian geometry perspective, whose core idea is to merge any graph dataset into a unified, smooth Riemannian manifold, enabling a systematic understanding of knowledge integration and transfer. To achieve this, our key contribution is the theoretical establishment of neural manifold gluing, which first characterizes local geometry using an adaptive orthogonal frame and then "glues" the local pieces together into a coherent whole. Building on this theory, we present the GraphGlue framework, which supports batched pre-training with EMA prototyping and provides a transferability measure based on geometric consistence. Extensive experiments demonstrate its superior performance across diverse graph domains. Moreover, we empirically validated GraphGlue's geometric scaling law, showing that larger quantities of datasets improve model transferability by producing a smoother manifold. Codes are available at https://github.com/RiemannGraph/GraphGlue.