CARLA-Air: Полет дронов в мире CARLA — унифицированная инфраструктура для воздушно-наземного воплощенного интеллекта
CARLA-Air: Fly Drones Inside a CARLA World -- A Unified Infrastructure for Air-Ground Embodied Intelligence
March 30, 2026
Авторы: Tianle Zeng, Hanxuan Chen, Yanci Wen, Hong Zhang
cs.AI
Аннотация
Сближение низковысотной экономики, воплощенного интеллекта и систем воздушно-наземного взаимодействия порождает растущий спрос на моделирующую инфраструктуру, способную совместно моделировать воздушные и наземные агенты в единой физически согласованной среде. Существующие платформы с открытым исходным кодом остаются разрозненными по доменам: симуляторы вождения лишены аэродинамики, а симуляторы мультироторных аппаратов — реалистичных наземных сцен. Ко-симуляция на основе мостов вносит накладные расходы на синхронизацию и не может гарантировать строгой пространственно-временной согласованности.
Мы представляем CARLA-Air, инфраструктуру с открытым исходным кодом, которая объединяет высокодетализированное городское вождение и физически точный полет мультироторных аппаратов в рамках единого процесса Unreal Engine. Платформа сохраняет как собственные Python API CARLA и AirSim, так и интерфейсы ROS 2, обеспечивая возможность повторного использования кода без изменений. В рамках общего цикла физики и конвейера рендеринга CARLA-Air предоставляет фотореалистичные среды с соответствующим правилам дорожным движением, социально-осознанными пешеходами и аэродинамически согласованной динамикой БПЛА, синхронно захватывая до 18 модальностей сенсоров на всех платформах в каждом такте. Платформа поддерживает репрезентативные рабочие нагрузки воплощенного интеллекта для воздушно-наземных систем, включая кооперацию, воплощенную навигацию и визуально-языковые действия, мультимодальное восприятие и построение наборов данных, а также обучение стратегий на основе обучения с подкреплением. Расширяемый конвейер ресурсов позволяет интегрировать пользовательские роботизированные платформы в общий мир. Наследуя воздушные возможности AirSim — чья основная разработка была заархивирована — CARLA-Air гарантирует, что этот широко распространенный стек полетов продолжает развиваться в рамках современной инфраструктуры.
Выпущена с предварительно собранными бинарными файлами и полным исходным кодом: https://github.com/louiszengCN/CarlaAir
English
The convergence of low-altitude economies, embodied intelligence, and air-ground cooperative systems creates growing demand for simulation infrastructure capable of jointly modeling aerial and ground agents within a single physically coherent environment. Existing open-source platforms remain domain-segregated: driving simulators lack aerial dynamics, while multirotor simulators lack realistic ground scenes. Bridge-based co-simulation introduces synchronization overhead and cannot guarantee strict spatial-temporal consistency.
We present CARLA-Air, an open-source infrastructure that unifies high-fidelity urban driving and physics-accurate multirotor flight within a single Unreal Engine process. The platform preserves both CARLA and AirSim native Python APIs and ROS 2 interfaces, enabling zero-modification code reuse. Within a shared physics tick and rendering pipeline, CARLA-Air delivers photorealistic environments with rule-compliant traffic, socially-aware pedestrians, and aerodynamically consistent UAV dynamics, synchronously capturing up to 18 sensor modalities across all platforms at each tick. The platform supports representative air-ground embodied intelligence workloads spanning cooperation, embodied navigation and vision-language action, multi-modal perception and dataset construction, and reinforcement-learning-based policy training. An extensible asset pipeline allows integration of custom robot platforms into the shared world. By inheriting AirSim's aerial capabilities -- whose upstream development has been archived -- CARLA-Air ensures this widely adopted flight stack continues to evolve within a modern infrastructure.
Released with prebuilt binaries and full source: https://github.com/louiszengCN/CarlaAir