Ruimtelijke Intelligentie Smeden: Een Routekaart voor Multi-Modale Data Pre-Training voor Autonome Systemen

Forging Spatial Intelligence: A Roadmap of Multi-Modal Data Pre-Training for Autonomous Systems

December 30, 2025

Auteurs: Song Wang, Lingdong Kong, Xiaolu Liu, Hao Shi, Wentong Li, Jianke Zhu, Steven C. H. Hoi

cs.AI

Samenvatting

De snelle ontwikkeling van autonome systemen, zoals zelfrijdende voertuigen en drones, heeft de behoefte aan het ontwikkelen van echte ruimtelijke intelligentie uit multimodale sensordata aan boord vergroot. Hoewel foundation-modellen uitblinken in unimodale contexten, blijft het integreren van hun capaciteiten over diverse sensoren zoals camera's en LiDAR om een uniform begrip te creëren een formidabele uitdaging. Dit artikel presenteert een uitgebreid raamwerk voor multimodale voorafgaande training (pre-training) en identificeert de kerenset van technieken die de vooruitgang richting dit doel aandrijven. We ontleden de wisselwerking tussen fundamentele sensor-eigenschappen en leerstrategieën, en evalueren de rol van platformspecifieke datasets in het mogelijk maken van deze vooruitgang. Onze centrale bijdrage is de formulering van een uniforme taxonomie voor pre-training paradigma's: variërend van unimodale basislijnen tot geavanceerde uniforme raamwerken die holistische representaties leren voor geavanceerde taken zoals 3D-objectdetectie en semantische occupancy-predictie. Verder onderzoeken we de integratie van tekstuele invoer en occupancy-representaties om open-wereld-perceptie en -planning te vergemakkelijken. Ten slotte identificeren we kritieke knelpunten, zoals computationele efficiëntie en modelschaalbaarheid, en stellen we een routekaart voor naar algemene multimodale foundation-modellen die in staat zijn tot robuuste ruimtelijke intelligentie voor inzet in de echte wereld.

English

The rapid advancement of autonomous systems, including self-driving vehicles and drones, has intensified the need to forge true Spatial Intelligence from multi-modal onboard sensor data. While foundation models excel in single-modal contexts, integrating their capabilities across diverse sensors like cameras and LiDAR to create a unified understanding remains a formidable challenge. This paper presents a comprehensive framework for multi-modal pre-training, identifying the core set of techniques driving progress toward this goal. We dissect the interplay between foundational sensor characteristics and learning strategies, evaluating the role of platform-specific datasets in enabling these advancements. Our central contribution is the formulation of a unified taxonomy for pre-training paradigms: ranging from single-modality baselines to sophisticated unified frameworks that learn holistic representations for advanced tasks like 3D object detection and semantic occupancy prediction. Furthermore, we investigate the integration of textual inputs and occupancy representations to facilitate open-world perception and planning. Finally, we identify critical bottlenecks, such as computational efficiency and model scalability, and propose a roadmap toward general-purpose multi-modal foundation models capable of achieving robust Spatial Intelligence for real-world deployment.