Преодоление изоляции данных: на пути к открытым и масштабируемым базовым моделям мобильности с использованием генеративного непрерывного обучения

Breaking Data Silos: Towards Open and Scalable Mobility Foundation Models via Generative Continual Learning

June 7, 2025

Авторы: Yuan Yuan, Yukun Liu, Chonghua Han, Jie Feng, Yong Li

cs.AI

Аннотация

Фундаментальные модели произвели революцию в таких областях, как обработка естественного языка и компьютерное зрение, обеспечивая универсальное обучение для разнообразных задач и наборов данных. Однако создание аналогичных моделей для анализа мобильности людей остается сложной задачей из-за конфиденциального характера данных о перемещениях и возникающих в результате информационных изолированных систем в различных организациях. Чтобы преодолеть этот разрыв, мы предлагаем MoveGCL — масштабируемую и обеспечивающую конфиденциальность платформу для обучения фундаментальных моделей мобильности с использованием генеративного непрерывного обучения. Без обмена исходными данными MoveGCL позволяет осуществлять децентрализованное и прогрессивное развитие моделей путем воспроизведения синтетических траекторий, сгенерированных замороженной моделью-учителем, и укрепляет сохранение знаний с помощью специализированной стратегии дистилляции, которая смягчает проблему катастрофического забывания. Для учета неоднородности паттернов мобильности MoveGCL включает трансформер с механизмом маршрутизации экспертов, учитывающим мобильность, и использует послойную стратегию прогрессивной адаптации для стабилизации непрерывных обновлений. Эксперименты на шести реальных городских наборах данных показывают, что MoveGCL достигает производительности, сопоставимой с совместным обучением, и значительно превосходит базовые методы федеративного обучения, обеспечивая при этом надежную защиту конфиденциальности. MoveGCL представляет собой важный шаг на пути к созданию фундаментальных моделей для анализа мобильности, предлагая практическую схему для открытой, масштабируемой и конфиденциальной разработки моделей в эпоху фундаментальных моделей.

English

Foundation models have revolutionized fields such as natural language processing and computer vision by enabling general-purpose learning across diverse tasks and datasets. However, building analogous models for human mobility remains challenging due to the privacy-sensitive nature of mobility data and the resulting data silos across institutions. To bridge this gap, we propose MoveGCL, a scalable and privacy-preserving framework for training mobility foundation models via generative continual learning. Without sharing raw data, MoveGCL enables decentralized and progressive model evolution by replaying synthetic trajectories generated from a frozen teacher model, and reinforces knowledge retention through a tailored distillation strategy that mitigates catastrophic forgetting. To address the heterogeneity of mobility patterns, MoveGCL incorporates a Mixture-of-Experts Transformer with a mobility-aware expert routing mechanism, and employs a layer-wise progressive adaptation strategy to stabilize continual updates. Experiments on six real-world urban datasets demonstrate that MoveGCL achieves performance comparable to joint training and significantly outperforms federated learning baselines, while offering strong privacy protection. MoveGCL marks a crucial step toward unlocking foundation models for mobility, offering a practical blueprint for open, scalable, and privacy-preserving model development in the era of foundation models.