データサイロの打破：生成的継続学習によるオープンでスケーラブルなモビリティ基盤モデルへ向けて

Breaking Data Silos: Towards Open and Scalable Mobility Foundation Models via Generative Continual Learning

June 7, 2025

著者: Yuan Yuan, Yukun Liu, Chonghua Han, Jie Feng, Yong Li

cs.AI

要旨

基盤モデルは、多様なタスクやデータセットにわたる汎用学習を可能にすることで、自然言語処理やコンピュータビジョンなどの分野に革命をもたらしました。しかし、人間の移動データのプライバシーに敏感な性質や、それに起因する機関間のデータサイロのため、移動データに対する同様のモデルの構築は依然として困難です。このギャップを埋めるため、我々はMoveGCLを提案します。MoveGCLは、生成的な継続学習を通じて移動基盤モデルを訓練するためのスケーラブルでプライバシー保護を重視したフレームワークです。MoveGCLは、生データを共有することなく、凍結された教師モデルから生成された合成軌跡を再生することで、分散的かつ漸進的なモデルの進化を可能にし、カタストロフィックフォゲッティングを軽減するための独自の蒸留戦略を通じて知識の保持を強化します。移動パターンの異質性に対処するため、MoveGCLは移動を意識したエキスパートルーティング機構を備えたMixture-of-Experts Transformerを組み込み、継続的な更新を安定化するための層ごとの漸進的適応戦略を採用しています。6つの実世界の都市データセットでの実験により、MoveGCLは共同訓練に匹敵する性能を達成し、連合学習のベースラインを大幅に上回りながら、強力なプライバシー保護を提供することが実証されました。MoveGCLは、移動データに対する基盤モデルの実現に向けた重要な一歩を記し、基盤モデルの時代におけるオープンでスケーラブル、かつプライバシー保護を重視したモデル開発の実践的な青写真を提供します。

English

Foundation models have revolutionized fields such as natural language processing and computer vision by enabling general-purpose learning across diverse tasks and datasets. However, building analogous models for human mobility remains challenging due to the privacy-sensitive nature of mobility data and the resulting data silos across institutions. To bridge this gap, we propose MoveGCL, a scalable and privacy-preserving framework for training mobility foundation models via generative continual learning. Without sharing raw data, MoveGCL enables decentralized and progressive model evolution by replaying synthetic trajectories generated from a frozen teacher model, and reinforces knowledge retention through a tailored distillation strategy that mitigates catastrophic forgetting. To address the heterogeneity of mobility patterns, MoveGCL incorporates a Mixture-of-Experts Transformer with a mobility-aware expert routing mechanism, and employs a layer-wise progressive adaptation strategy to stabilize continual updates. Experiments on six real-world urban datasets demonstrate that MoveGCL achieves performance comparable to joint training and significantly outperforms federated learning baselines, while offering strong privacy protection. MoveGCL marks a crucial step toward unlocking foundation models for mobility, offering a practical blueprint for open, scalable, and privacy-preserving model development in the era of foundation models.