CARLA-Air: Drohnenflug in einer CARLA-Welt – Eine einheitliche Infrastruktur für luftgestützte und bodengebundene verkörperte Intelligenz

CARLA-Air: Fly Drones Inside a CARLA World -- A Unified Infrastructure for Air-Ground Embodied Intelligence

March 30, 2026

Autoren: Tianle Zeng, Hanxuan Chen, Yanci Wen, Hong Zhang

cs.AI

Zusammenfassung

Die Konvergenz von Niedrighöhenwirtschaften, verkörpertem Lernen und luft-boden-kooperativen Systemen erzeugt eine wachsende Nachfrage nach Simulationsinfrastruktur, die in der Lage ist, Luft- und Bodenagenten gemeinsam in einer einzigen physikalisch kohärenten Umgebung zu modellieren. Bestehende Open-Source-Plattformen bleiben domainspezifisch getrennt: Fahrsimulatoren mangelt es an Flugdynamik, während Multikoptersimulatoren realistische Bodenszenen vermissen lassen. Brückenbasierte Co-Simulation führt Synchronisations-Overhead ein und kann keine strenge raumzeitliche Konsistenz gewährleisten. Wir stellen CARLA-Air vor, eine Open-Source-Infrastruktur, die hochauflösendes urbanes Fahren und physikalisch präzisen Multikopterflug innerhalb eines einzigen Unreal-Engine-Prozesses vereint. Die Plattform bewahrt sowohl die nativen Python-APIs von CARLA und AirSim als auch die ROS-2-Schnittstellen und ermöglicht damit Code-Wiederverwendung ohne Modifikation. Innerhalb einer gemeinsamen Physik-Tick- und Rendering-Pipeline liefert CARLA-Air fotorealistische Umgebungen mit regelkonformem Verkehr, sozial bewussten Fußgängern und aerodynamisch konsistenter UAV-Dynamik und erfasst synchron bis zu 18 Sensor-Modalitäten über alle Plattformen hinweg bei jedem Tick. Die Plattform unterstützt repräsentative Arbeitslasten für luft- und bodengebundene verkörperte Intelligenz, darunter Kooperation, verkörpertes Navigieren und Vision-Language-Action, multimodale Wahrnehmung und Datensatzerstellung sowie Reinforcement-Learning-basiertes Policy-Training. Eine erweiterbare Asset-Pipeline ermöglicht die Integration benutzerdefinierter Roboterplattformen in die gemeinsame Welt. Durch die Übernahme der luftgestützten Fähigkeiten von AirSim – dessen Upstream-Entwicklung archiviert wurde – stellt CARLA-Air sicher, dass dieser weit verbreitete Flugstack innerhalb einer modernen Infrastruktur weiterentwickelt wird. Veröffentlicht mit vorkompilierten Binärdateien und vollständigem Quellcode: https://github.com/louiszengCN/CarlaAir

English

The convergence of low-altitude economies, embodied intelligence, and air-ground cooperative systems creates growing demand for simulation infrastructure capable of jointly modeling aerial and ground agents within a single physically coherent environment. Existing open-source platforms remain domain-segregated: driving simulators lack aerial dynamics, while multirotor simulators lack realistic ground scenes. Bridge-based co-simulation introduces synchronization overhead and cannot guarantee strict spatial-temporal consistency. We present CARLA-Air, an open-source infrastructure that unifies high-fidelity urban driving and physics-accurate multirotor flight within a single Unreal Engine process. The platform preserves both CARLA and AirSim native Python APIs and ROS 2 interfaces, enabling zero-modification code reuse. Within a shared physics tick and rendering pipeline, CARLA-Air delivers photorealistic environments with rule-compliant traffic, socially-aware pedestrians, and aerodynamically consistent UAV dynamics, synchronously capturing up to 18 sensor modalities across all platforms at each tick. The platform supports representative air-ground embodied intelligence workloads spanning cooperation, embodied navigation and vision-language action, multi-modal perception and dataset construction, and reinforcement-learning-based policy training. An extensible asset pipeline allows integration of custom robot platforms into the shared world. By inheriting AirSim's aerial capabilities -- whose upstream development has been archived -- CARLA-Air ensures this widely adopted flight stack continues to evolve within a modern infrastructure. Released with prebuilt binaries and full source: https://github.com/louiszengCN/CarlaAir