Динамический город: генерация LiDAR большого масштаба из динамических сцен

DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes

October 23, 2024

Авторы: Hengwei Bian, Lingdong Kong, Haozhe Xie, Liang Pan, Yu Qiao, Ziwei Liu

cs.AI

Аннотация

Генерация сцен LiDAR недавно развивается быстро. Однако существующие методы в основном сосредотачиваются на создании статических и однокадровых сцен, не учитывая врожденную динамичность реальных дорожных сред. В данной работе мы представляем DynamicCity, новую 4D модель генерации LiDAR, способную создавать крупномасштабные, высококачественные сцены LiDAR, отражающие временную эволюцию динамичных окружающих сред. DynamicCity в основном состоит из двух ключевых моделей. 1) Модель VAE для изучения HexPlane в качестве компактного 4D представления. Вместо использования простых операций усреднения, DynamicCity использует новый модуль проекции для эффективного сжатия 4D особенностей LiDAR в шесть 2D карт при построении HexPlane, что значительно улучшает качество подгонки HexPlane (до 12.56 прироста mIoU). Кроме того, мы используем стратегию расширения и сжатия для параллельного восстановления объемов 3D особенностей, что улучшает как эффективность обучения сети, так и точность восстановления по сравнению с простым запросом каждой 3D точки (до 7.05 прироста mIoU, ускорение обучения в 2.06 раза и снижение использования памяти на 70.84%). 2) Модель диффузии на основе DiT для генерации HexPlane. Для того чтобы сделать HexPlane пригодным для генерации DiT, предлагается операция пополнения прокрутки для переупорядочивания всех шести плоскостей особенностей HexPlane как квадратной 2D карты. В частности, различные условия могут быть введены в процесс диффузии или выборки, поддерживая разнообразные приложения генерации 4D, такие как генерация по траектории и командам, заполнение пропусков и генерация с учетом макета. Обширные эксперименты на наборах данных CarlaSC и Waymo показывают, что DynamicCity значительно превосходит существующие передовые методы генерации 4D LiDAR по множеству метрик. Код будет опубликован для облегчения будущих исследований.

English

LiDAR scene generation has been developing rapidly recently. However, existing methods primarily focus on generating static and single-frame scenes, overlooking the inherently dynamic nature of real-world driving environments. In this work, we introduce DynamicCity, a novel 4D LiDAR generation framework capable of generating large-scale, high-quality LiDAR scenes that capture the temporal evolution of dynamic environments. DynamicCity mainly consists of two key models. 1) A VAE model for learning HexPlane as the compact 4D representation. Instead of using naive averaging operations, DynamicCity employs a novel Projection Module to effectively compress 4D LiDAR features into six 2D feature maps for HexPlane construction, which significantly enhances HexPlane fitting quality (up to 12.56 mIoU gain). Furthermore, we utilize an Expansion & Squeeze Strategy to reconstruct 3D feature volumes in parallel, which improves both network training efficiency and reconstruction accuracy than naively querying each 3D point (up to 7.05 mIoU gain, 2.06x training speedup, and 70.84% memory reduction). 2) A DiT-based diffusion model for HexPlane generation. To make HexPlane feasible for DiT generation, a Padded Rollout Operation is proposed to reorganize all six feature planes of the HexPlane as a squared 2D feature map. In particular, various conditions could be introduced in the diffusion or sampling process, supporting versatile 4D generation applications, such as trajectory- and command-driven generation, inpainting, and layout-conditioned generation. Extensive experiments on the CarlaSC and Waymo datasets demonstrate that DynamicCity significantly outperforms existing state-of-the-art 4D LiDAR generation methods across multiple metrics. The code will be released to facilitate future research.