DynamicCity: Geração de LiDAR em Grande Escala a partir de Cenas Dinâmicas

DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes

October 23, 2024

Autores: Hengwei Bian, Lingdong Kong, Haozhe Xie, Liang Pan, Yu Qiao, Ziwei Liu

cs.AI

Resumo

A geração de cenas LiDAR tem se desenvolvido rapidamente recentemente. No entanto, os métodos existentes focam principalmente na geração de cenas estáticas e de um único quadro, negligenciando a natureza inerentemente dinâmica dos ambientes de direção do mundo real. Neste trabalho, apresentamos o DynamicCity, um novo framework de geração LiDAR 4D capaz de gerar cenas LiDAR em grande escala e de alta qualidade que capturam a evolução temporal de ambientes dinâmicos. O DynamicCity consiste principalmente em dois modelos-chave. 1) Um modelo VAE para aprender o HexPlane como a representação compacta 4D. Em vez de usar operações de média ingênuas, o DynamicCity emprega um novo Módulo de Projeção para comprimir de forma eficaz as características LiDAR 4D em seis mapas de características 2D para a construção do HexPlane, o que melhora significativamente a qualidade do ajuste do HexPlane (até 12,56 de ganho de mIoU). Além disso, utilizamos uma Estratégia de Expansão e Compressão para reconstruir volumes de características 3D em paralelo, o que melhora tanto a eficiência do treinamento da rede quanto a precisão da reconstrução em comparação com a consulta ingênua de cada ponto 3D (até 7,05 de ganho de mIoU, 2,06 vezes mais rápido no treinamento e redução de memória de 70,84%). 2) Um modelo de difusão baseado em DiT para a geração do HexPlane. Para tornar o HexPlane viável para a geração de DiT, é proposta uma Operação de Expansão Acolchoada para reorganizar todos os seis planos de características do HexPlane como um mapa de características 2D quadrado. Em particular, várias condições podem ser introduzidas no processo de difusão ou amostragem, suportando aplicações versáteis de geração 4D, como geração orientada por trajetória e comando, inpainting e geração condicionada ao layout. Experimentos extensivos nos conjuntos de dados CarlaSC e Waymo demonstram que o DynamicCity supera significativamente os métodos de geração LiDAR 4D do estado da arte existentes em várias métricas. O código será disponibilizado para facilitar pesquisas futuras.

English

LiDAR scene generation has been developing rapidly recently. However, existing methods primarily focus on generating static and single-frame scenes, overlooking the inherently dynamic nature of real-world driving environments. In this work, we introduce DynamicCity, a novel 4D LiDAR generation framework capable of generating large-scale, high-quality LiDAR scenes that capture the temporal evolution of dynamic environments. DynamicCity mainly consists of two key models. 1) A VAE model for learning HexPlane as the compact 4D representation. Instead of using naive averaging operations, DynamicCity employs a novel Projection Module to effectively compress 4D LiDAR features into six 2D feature maps for HexPlane construction, which significantly enhances HexPlane fitting quality (up to 12.56 mIoU gain). Furthermore, we utilize an Expansion & Squeeze Strategy to reconstruct 3D feature volumes in parallel, which improves both network training efficiency and reconstruction accuracy than naively querying each 3D point (up to 7.05 mIoU gain, 2.06x training speedup, and 70.84% memory reduction). 2) A DiT-based diffusion model for HexPlane generation. To make HexPlane feasible for DiT generation, a Padded Rollout Operation is proposed to reorganize all six feature planes of the HexPlane as a squared 2D feature map. In particular, various conditions could be introduced in the diffusion or sampling process, supporting versatile 4D generation applications, such as trajectory- and command-driven generation, inpainting, and layout-conditioned generation. Extensive experiments on the CarlaSC and Waymo datasets demonstrate that DynamicCity significantly outperforms existing state-of-the-art 4D LiDAR generation methods across multiple metrics. The code will be released to facilitate future research.