DynamicCity: Generación de LiDAR a Gran Escala a partir de Escenas Dinámicas

DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes

October 23, 2024

Autores: Hengwei Bian, Lingdong Kong, Haozhe Xie, Liang Pan, Yu Qiao, Ziwei Liu

cs.AI

Resumen

La generación de escenas LiDAR ha estado desarrollándose rápidamente recientemente. Sin embargo, los métodos existentes se centran principalmente en generar escenas estáticas y de un solo fotograma, pasando por alto la naturaleza inherentemente dinámica de los entornos de conducción del mundo real. En este trabajo, presentamos DynamicCity, un nuevo marco de generación LiDAR 4D capaz de generar escenas LiDAR a gran escala y de alta calidad que capturan la evolución temporal de los entornos dinámicos. DynamicCity consta principalmente de dos modelos clave. 1) Un modelo VAE para aprender HexPlane como la representación compacta 4D. En lugar de utilizar operaciones de promediado ingenuas, DynamicCity emplea un novedoso Módulo de Proyección para comprimir de manera efectiva las características LiDAR 4D en seis mapas de características 2D para la construcción de HexPlane, lo que mejora significativamente la calidad del ajuste de HexPlane (hasta 12.56 de ganancia en mIoU). Además, utilizamos una Estrategia de Expansión y Compresión para reconstruir volúmenes de características 3D en paralelo, lo que mejora tanto la eficiencia del entrenamiento de la red como la precisión de la reconstrucción en comparación con la consulta ingenua de cada punto 3D (hasta 7.05 de ganancia en mIoU, 2.06 veces más rápido en el entrenamiento y una reducción del 70.84% en la memoria). 2) Un modelo de difusión basado en DiT para la generación de HexPlane. Para hacer que HexPlane sea factible para la generación de DiT, se propone una Operación de Despliegue Acolchado para reorganizar los seis planos de características de HexPlane como un mapa de características 2D cuadrado. En particular, se pueden introducir diversas condiciones en el proceso de difusión o muestreo, lo que respalda diversas aplicaciones de generación 4D, como generación basada en trayectorias y comandos, rellenado e generación condicionada al diseño. Experimentos extensos en los conjuntos de datos CarlaSC y Waymo demuestran que DynamicCity supera significativamente a los métodos existentes de generación LiDAR 4D de vanguardia en múltiples métricas. El código será publicado para facilitar la investigación futura.

English

LiDAR scene generation has been developing rapidly recently. However, existing methods primarily focus on generating static and single-frame scenes, overlooking the inherently dynamic nature of real-world driving environments. In this work, we introduce DynamicCity, a novel 4D LiDAR generation framework capable of generating large-scale, high-quality LiDAR scenes that capture the temporal evolution of dynamic environments. DynamicCity mainly consists of two key models. 1) A VAE model for learning HexPlane as the compact 4D representation. Instead of using naive averaging operations, DynamicCity employs a novel Projection Module to effectively compress 4D LiDAR features into six 2D feature maps for HexPlane construction, which significantly enhances HexPlane fitting quality (up to 12.56 mIoU gain). Furthermore, we utilize an Expansion & Squeeze Strategy to reconstruct 3D feature volumes in parallel, which improves both network training efficiency and reconstruction accuracy than naively querying each 3D point (up to 7.05 mIoU gain, 2.06x training speedup, and 70.84% memory reduction). 2) A DiT-based diffusion model for HexPlane generation. To make HexPlane feasible for DiT generation, a Padded Rollout Operation is proposed to reorganize all six feature planes of the HexPlane as a squared 2D feature map. In particular, various conditions could be introduced in the diffusion or sampling process, supporting versatile 4D generation applications, such as trajectory- and command-driven generation, inpainting, and layout-conditioned generation. Extensive experiments on the CarlaSC and Waymo datasets demonstrate that DynamicCity significantly outperforms existing state-of-the-art 4D LiDAR generation methods across multiple metrics. The code will be released to facilitate future research.