DynamicCity: 動的シーンからの大規模LiDAR生成

DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes

October 23, 2024

著者: Hengwei Bian, Lingdong Kong, Haozhe Xie, Liang Pan, Yu Qiao, Ziwei Liu

cs.AI

要旨

LiDARシーン生成技術は最近急速に発展しています。ただし、既存の手法は主に静的かつ単一フレームのシーン生成に焦点を当てており、実世界の運転環境の本質的にダイナミックな性質を見落としています。本研究では、時間的な進化を捉える大規模で高品質なLiDARシーンを生成することが可能な新しい4D LiDAR生成フレームワークであるDynamicCityを紹介します。DynamicCityは主に2つの主要モデルから構成されています。1) HexPlaneをコンパクトな4D表現として学習するためのVAEモデル。DynamicCityは単純な平均演算を使用せず、4D LiDAR特徴を効果的に圧縮するための新しいProjection Moduleを採用し、HexPlane構築のための6つの2D特徴マップに変換します。これによりHexPlaneの適合性が大幅に向上します（最大12.56 mIoUの向上）。さらに、3D特徴ボリュームを並列に再構築するためのExpansion & Squeeze Strategyを利用し、各3Dポイントを単純に問い合わせるよりもネットワークトレーニング効率と再構築精度が向上します（最大7.05 mIoUの向上、2.06倍のトレーニング速度向上、メモリ削減率70.84%）。2) HexPlane生成のためのDiTベースの拡散モデル。HexPlaneをDiT生成可能にするために、Padded Rollout Operationが提案され、HexPlaneの6つの特徴面を正方形の2D特徴マップとして再編成します。特に、拡散やサンプリングプロセスにさまざまな条件を導入することで、軌跡やコマンド駆動の生成、インペインティング、およびレイアウト条件付きの生成など、多様な4D生成アプリケーションをサポートします。CarlaSCおよびWaymoデータセットでの幅広い実験により、DynamicCityが複数の指標で既存の最先端の4D LiDAR生成手法を大幅に上回ることが示されました。コードは将来の研究を支援するために公開されます。

English

LiDAR scene generation has been developing rapidly recently. However, existing methods primarily focus on generating static and single-frame scenes, overlooking the inherently dynamic nature of real-world driving environments. In this work, we introduce DynamicCity, a novel 4D LiDAR generation framework capable of generating large-scale, high-quality LiDAR scenes that capture the temporal evolution of dynamic environments. DynamicCity mainly consists of two key models. 1) A VAE model for learning HexPlane as the compact 4D representation. Instead of using naive averaging operations, DynamicCity employs a novel Projection Module to effectively compress 4D LiDAR features into six 2D feature maps for HexPlane construction, which significantly enhances HexPlane fitting quality (up to 12.56 mIoU gain). Furthermore, we utilize an Expansion & Squeeze Strategy to reconstruct 3D feature volumes in parallel, which improves both network training efficiency and reconstruction accuracy than naively querying each 3D point (up to 7.05 mIoU gain, 2.06x training speedup, and 70.84% memory reduction). 2) A DiT-based diffusion model for HexPlane generation. To make HexPlane feasible for DiT generation, a Padded Rollout Operation is proposed to reorganize all six feature planes of the HexPlane as a squared 2D feature map. In particular, various conditions could be introduced in the diffusion or sampling process, supporting versatile 4D generation applications, such as trajectory- and command-driven generation, inpainting, and layout-conditioned generation. Extensive experiments on the CarlaSC and Waymo datasets demonstrate that DynamicCity significantly outperforms existing state-of-the-art 4D LiDAR generation methods across multiple metrics. The code will be released to facilitate future research.