CARLA-Air : Faire voler des drones dans un monde CARLA — Une infrastructure unifiée pour l'intelligence incarnée air-sol
CARLA-Air: Fly Drones Inside a CARLA World -- A Unified Infrastructure for Air-Ground Embodied Intelligence
March 30, 2026
Auteurs: Tianle Zeng, Hanxuan Chen, Yanci Wen, Hong Zhang
cs.AI
Résumé
La convergence des économies à basse altitude, de l'intelligence incarnée et des systèmes de coopération air-sol génère une demande croissante pour des infrastructures de simulation capables de modéliser conjointement des agents aériens et terrestres dans un environnement physiquement cohérent. Les plateformes open-source existantes restent cloisonnées par domaine : les simulateurs de conduite manquent de dynamique aérienne, tandis que les simulateurs de multirotors manquent de scènes terrestres réalistes. La cosimulation par pontage introduit une surcharge de synchronisation et ne peut garantir une cohérence spatio-temporelle stricte.
Nous présentons CARLA-Air, une infrastructure open-source qui unifie la simulation de conduite urbaine haute fidélité et le vol de multirotors physiquement précis au sein d'un seul processus Unreal Engine. La plateforme conserve les API Python natives de CARLA et AirSim ainsi que les interfaces ROS 2, permettant la réutilisation de code sans modification. Au sein d'un pipeline partagé de calcul physique et de rendu, CARLA-Air offre des environnements photoréalistes avec un trafic conforme aux règles, des piétons socialement conscients et une dynamique de drone aérien aérodynamiquement cohérente, capturant de manière synchrone jusqu'à 18 modalités de capteurs sur toutes les plates-formes à chaque cycle. La plateforme prend en charge des charges de travail représentatives de l'intelligence incarnée air-sol couvrant la coopération, la navigation incarnée et l'action vision-langage, la perception multi-modale et la construction d'ensembles de données, et l'entraînement de politiques par apprentissage par renforcement. Un pipeline d'actifs extensible permet l'intégration de plates-formes robotiques personnalisées dans le monde partagé. En héritant des capacités aériennes d'AirSim – dont le développement en amont a été archivé – CARLA-Air garantit que cette pile de vol largement adoptée continue d'évoluer au sein d'une infrastructure moderne.
Publié avec des binaires précompilés et le code source complet : https://github.com/louiszengCN/CarlaAir
English
The convergence of low-altitude economies, embodied intelligence, and air-ground cooperative systems creates growing demand for simulation infrastructure capable of jointly modeling aerial and ground agents within a single physically coherent environment. Existing open-source platforms remain domain-segregated: driving simulators lack aerial dynamics, while multirotor simulators lack realistic ground scenes. Bridge-based co-simulation introduces synchronization overhead and cannot guarantee strict spatial-temporal consistency.
We present CARLA-Air, an open-source infrastructure that unifies high-fidelity urban driving and physics-accurate multirotor flight within a single Unreal Engine process. The platform preserves both CARLA and AirSim native Python APIs and ROS 2 interfaces, enabling zero-modification code reuse. Within a shared physics tick and rendering pipeline, CARLA-Air delivers photorealistic environments with rule-compliant traffic, socially-aware pedestrians, and aerodynamically consistent UAV dynamics, synchronously capturing up to 18 sensor modalities across all platforms at each tick. The platform supports representative air-ground embodied intelligence workloads spanning cooperation, embodied navigation and vision-language action, multi-modal perception and dataset construction, and reinforcement-learning-based policy training. An extensible asset pipeline allows integration of custom robot platforms into the shared world. By inheriting AirSim's aerial capabilities -- whose upstream development has been archived -- CARLA-Air ensures this widely adopted flight stack continues to evolve within a modern infrastructure.
Released with prebuilt binaries and full source: https://github.com/louiszengCN/CarlaAir