DynamicCity: Generazione su larga scala di LiDAR da scene dinamiche

DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes

October 23, 2024

Autori: Hengwei Bian, Lingdong Kong, Haozhe Xie, Liang Pan, Yu Qiao, Ziwei Liu

cs.AI

Abstract

La generazione di scene LiDAR ha recentemente registrato un rapido sviluppo. Tuttavia, i metodi esistenti si concentrano principalmente sulla generazione di scene statiche e singole, trascurando la natura intrinsecamente dinamica degli ambienti di guida del mondo reale. In questo lavoro, presentiamo DynamicCity, un nuovo framework di generazione LiDAR 4D in grado di generare scene LiDAR di ampia scala e di alta qualità che catturano l'evoluzione temporale degli ambienti dinamici. DynamicCity è principalmente composto da due modelli chiave. 1) Un modello VAE per apprendere HexPlane come rappresentazione compatta 4D. Invece di utilizzare operazioni di media naive, DynamicCity impiega un nuovo Modulo di Proiezione per comprimere efficacemente le caratteristiche LiDAR 4D in sei mappe di caratteristiche 2D per la costruzione di HexPlane, migliorando significativamente la qualità dell'adattamento di HexPlane (fino a un guadagno di 12,56 mIoU). Inoltre, utilizziamo una Strategia di Espansione & Compressione per ricostruire volumi di caratteristiche 3D in parallelo, migliorando sia l'efficienza dell'addestramento della rete che l'accuratezza della ricostruzione rispetto alla semplice interrogazione di ciascun punto 3D (fino a un guadagno di 7,05 mIoU, un aumento della velocità di addestramento del 2,06x e una riduzione della memoria del 70,84%). 2) Un modello di diffusione basato su DiT per la generazione di HexPlane. Per rendere HexPlane fattibile per la generazione DiT, viene proposta un'Operazione di Rollout Imbottita per riorganizzare tutte e sei le mappe di caratteristiche di HexPlane come una mappa di caratteristiche 2D quadrata. In particolare, varie condizioni possono essere introdotte nel processo di diffusione o campionamento, supportando diverse applicazioni di generazione 4D, come la generazione guidata da traiettoria e comando, l'inpainting e la generazione condizionata dalla disposizione. Esperimenti approfonditi sui dataset CarlaSC e Waymo dimostrano che DynamicCity supera significativamente i metodi di generazione LiDAR 4D all'avanguardia esistenti su molteplici metriche. Il codice sarà rilasciato per facilitare la ricerca futura.

English

LiDAR scene generation has been developing rapidly recently. However, existing methods primarily focus on generating static and single-frame scenes, overlooking the inherently dynamic nature of real-world driving environments. In this work, we introduce DynamicCity, a novel 4D LiDAR generation framework capable of generating large-scale, high-quality LiDAR scenes that capture the temporal evolution of dynamic environments. DynamicCity mainly consists of two key models. 1) A VAE model for learning HexPlane as the compact 4D representation. Instead of using naive averaging operations, DynamicCity employs a novel Projection Module to effectively compress 4D LiDAR features into six 2D feature maps for HexPlane construction, which significantly enhances HexPlane fitting quality (up to 12.56 mIoU gain). Furthermore, we utilize an Expansion & Squeeze Strategy to reconstruct 3D feature volumes in parallel, which improves both network training efficiency and reconstruction accuracy than naively querying each 3D point (up to 7.05 mIoU gain, 2.06x training speedup, and 70.84% memory reduction). 2) A DiT-based diffusion model for HexPlane generation. To make HexPlane feasible for DiT generation, a Padded Rollout Operation is proposed to reorganize all six feature planes of the HexPlane as a squared 2D feature map. In particular, various conditions could be introduced in the diffusion or sampling process, supporting versatile 4D generation applications, such as trajectory- and command-driven generation, inpainting, and layout-conditioned generation. Extensive experiments on the CarlaSC and Waymo datasets demonstrate that DynamicCity significantly outperforms existing state-of-the-art 4D LiDAR generation methods across multiple metrics. The code will be released to facilitate future research.