Forgiare l'Intelligenza Spaziale: Una Roadmap per la Pre-addestramento su Dati Multi-Modali per Sistemi Autonomi
Forging Spatial Intelligence: A Roadmap of Multi-Modal Data Pre-Training for Autonomous Systems
December 30, 2025
Autori: Song Wang, Lingdong Kong, Xiaolu Liu, Hao Shi, Wentong Li, Jianke Zhu, Steven C. H. Hoi
cs.AI
Abstract
Il rapido progresso dei sistemi autonomi, inclusi veicoli a guida autonoma e droni, ha intensificato la necessità di sviluppare una vera Intelligenza Spaziale a partire da dati multi-modali dei sensori di bordo. Sebbene i modelli di fondazione eccellano in contesti mono-modali, integrare le loro capacità attraverso sensori diversi come telecamere e LiDAR per creare una comprensione unificata rimane una sfida formidabile. Questo articolo presenta un quadro completo per il pre-addestramento multi-modale, individuando il nucleo di tecniche che guidano il progresso verso questo obiettivo. Analizziamo l'interazione tra le caratteristiche fondamentali dei sensori e le strategie di apprendimento, valutando il ruolo di dataset specifici per piattaforma nell'abilitare questi avanzamenti. Il nostro contributo principale è la formulazione di una tassonomia unificata per i paradigmi di pre-addestramento: che spazia dalle baseline a modalità singola a framework unificati sofisticati che apprendono rappresentazioni olistiche per task avanzati come la rilevazione di oggetti 3D e la previsione di occupazione semantica. Inoltre, investigiamo l'integrazione di input testuali e rappresentazioni di occupazione per facilitare la percezione e la pianificazione in mondo aperto. Infine, identifichiamo colli di bottiglia critici, come l'efficienza computazionale e la scalabilità del modello, e proponiamo una roadmap verso modelli di fondazione multi-modali generici in grado di raggiungere un'Intelligenza Spaziale robusta per il dispiegamento nel mondo reale.
English
The rapid advancement of autonomous systems, including self-driving vehicles and drones, has intensified the need to forge true Spatial Intelligence from multi-modal onboard sensor data. While foundation models excel in single-modal contexts, integrating their capabilities across diverse sensors like cameras and LiDAR to create a unified understanding remains a formidable challenge. This paper presents a comprehensive framework for multi-modal pre-training, identifying the core set of techniques driving progress toward this goal. We dissect the interplay between foundational sensor characteristics and learning strategies, evaluating the role of platform-specific datasets in enabling these advancements. Our central contribution is the formulation of a unified taxonomy for pre-training paradigms: ranging from single-modality baselines to sophisticated unified frameworks that learn holistic representations for advanced tasks like 3D object detection and semantic occupancy prediction. Furthermore, we investigate the integration of textual inputs and occupancy representations to facilitate open-world perception and planning. Finally, we identify critical bottlenecks, such as computational efficiency and model scalability, and propose a roadmap toward general-purpose multi-modal foundation models capable of achieving robust Spatial Intelligence for real-world deployment.