Формирование пространственного интеллекта: план предварительного обучения автономных систем на мультимодальных данных
Forging Spatial Intelligence: A Roadmap of Multi-Modal Data Pre-Training for Autonomous Systems
December 30, 2025
Авторы: Song Wang, Lingdong Kong, Xiaolu Liu, Hao Shi, Wentong Li, Jianke Zhu, Steven C. H. Hoi
cs.AI
Аннотация
Быстрое развитие автономных систем, включая беспилотные автомобили и дроны, обострило потребность в создании подлинного пространственного интеллекта на основе мультимодальных данных бортовых сенсоров. Хотя базовые модели демонстрируют превосходство в условиях работы с одной модальностью, интеграция их возможностей для разнородных сенсоров, таких как камеры и лидары, с целью формирования единого понимания окружения остаётся серьёзной проблемой. В данной статье представлена комплексная система мультимодального предварительного обучения, определяющая ключевой набор методов, способствующих прогрессу в достижении этой цели. Мы анализируем взаимосвязь между фундаментальными характеристиками сенсоров и стратегиями обучения, оценивая роль специализированных наборов данных в обеспечении этих достижений. Нашим основным вкладом является формулировка унифицированной таксономии парадигм предварительного обучения: от базовых методов для одной модальности до сложных унифицированных框架, которые изучают целостные представления для таких сложных задач, как трёхмерное детектирование объектов и семантическое прогнозирование оккупансии. Кроме того, мы исследуем интеграцию текстовых входных данных и представлений оккупансии для обеспечения восприятия в открытом мире и планирования. Наконец, мы определяем критические узкие места, такие как вычислительная эффективность и масштабируемость моделей, и предлагаем дорожную карту по созданию универсальных мультимодальных базовых моделей, способных достичь robustного пространственного интеллекта для реального развёртывания.
English
The rapid advancement of autonomous systems, including self-driving vehicles and drones, has intensified the need to forge true Spatial Intelligence from multi-modal onboard sensor data. While foundation models excel in single-modal contexts, integrating their capabilities across diverse sensors like cameras and LiDAR to create a unified understanding remains a formidable challenge. This paper presents a comprehensive framework for multi-modal pre-training, identifying the core set of techniques driving progress toward this goal. We dissect the interplay between foundational sensor characteristics and learning strategies, evaluating the role of platform-specific datasets in enabling these advancements. Our central contribution is the formulation of a unified taxonomy for pre-training paradigms: ranging from single-modality baselines to sophisticated unified frameworks that learn holistic representations for advanced tasks like 3D object detection and semantic occupancy prediction. Furthermore, we investigate the integration of textual inputs and occupancy representations to facilitate open-world perception and planning. Finally, we identify critical bottlenecks, such as computational efficiency and model scalability, and propose a roadmap toward general-purpose multi-modal foundation models capable of achieving robust Spatial Intelligence for real-world deployment.