Räumliche Intelligenz schmieden: Ein Fahrplan für Multi-Modale Daten-Vorverarbeitung für Autonome Systeme
Forging Spatial Intelligence: A Roadmap of Multi-Modal Data Pre-Training for Autonomous Systems
December 30, 2025
papers.authors: Song Wang, Lingdong Kong, Xiaolu Liu, Hao Shi, Wentong Li, Jianke Zhu, Steven C. H. Hoi
cs.AI
papers.abstract
Die rasante Entwicklung autonomer Systeme, einschließlich selbstfahrender Fahrzeuge und Drohnen, hat den Bedarf an echter räumlicher Intelligenz aus multimodalen Bord-Sensordaten verstärkt. Während Foundation Models in unimodalen Kontexten hervorragende Leistungen erbringen, bleibt die Integration ihrer Fähigkeiten über verschiedene Sensoren wie Kameras und LiDAR hinweg, um ein einheitliches Verständnis zu schaffen, eine große Herausforderung. Dieses Papier stellt einen umfassenden Rahmen für multimodales Pre-Training vor und identifiziert die zentralen Techniken, die den Fortschritt in Richtung dieses Ziels vorantreiben. Wir analysieren das Zusammenspiel zwischen grundlegenden Sensoreigenschaften und Lernstrategien und bewerten die Rolle plattformspezifischer Datensätze bei der Ermöglichung dieser Fortschritte. Unser zentraler Beitrag ist die Formulierung einer einheitlichen Taxonomie für Pre-Training-Paradigmen: von Unimodal-Baselines bis hin zu komplexen, einheitlichen Frameworks, die holistische Repräsentationen für anspruchsvolle Aufgaben wie 3D-Objekterkennung und semantische Occupancy-Prädiktion lernen. Darüber hinaus untersuchen wir die Integration von Texteingaben und Occupancy-Repräsentationen, um Open-World-Wahrnehmung und Planung zu ermöglichen. Abschließend identifizieren wir kritische Engpässe, wie Recheneffizienz und Modellskalierbarkeit, und schlagen einen Fahrplan für allgemeine multimodale Foundation Models vor, die eine robuste räumliche Intelligenz für den realen Einsatz erreichen können.
English
The rapid advancement of autonomous systems, including self-driving vehicles and drones, has intensified the need to forge true Spatial Intelligence from multi-modal onboard sensor data. While foundation models excel in single-modal contexts, integrating their capabilities across diverse sensors like cameras and LiDAR to create a unified understanding remains a formidable challenge. This paper presents a comprehensive framework for multi-modal pre-training, identifying the core set of techniques driving progress toward this goal. We dissect the interplay between foundational sensor characteristics and learning strategies, evaluating the role of platform-specific datasets in enabling these advancements. Our central contribution is the formulation of a unified taxonomy for pre-training paradigms: ranging from single-modality baselines to sophisticated unified frameworks that learn holistic representations for advanced tasks like 3D object detection and semantic occupancy prediction. Furthermore, we investigate the integration of textual inputs and occupancy representations to facilitate open-world perception and planning. Finally, we identify critical bottlenecks, such as computational efficiency and model scalability, and propose a roadmap toward general-purpose multi-modal foundation models capable of achieving robust Spatial Intelligence for real-world deployment.