SyntheOcc：3DセマンティックMPIを介して幾何学制御されたストリートビュー画像を合成する

SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs

October 1, 2024

著者: Leheng Li, Weichao Qiu, Yingjie Cai, Xu Yan, Qing Lian, Bingbing Liu, Ying-Cong Chen

cs.AI

要旨

自動運転の進歩は、特に3D占有予測のタスクにおいて、密な3D注釈が必要であり、膨大な人的労力が必要な占有ラベルが必要とされるため、高品質なアノテーションされたデータセットにますます依存しています。本論文では、運転シナリオにおいて占有ラベルを条件付けて写実的かつ幾何学的に制御された画像を合成する拡散モデルを示すSyntheOccを提案します。これにより、知覚モデルやシミュレーションのトレーニングなどのアプリケーション向けに、無制限の多様で注釈付きかつ制御可能なデータセットが生成されます。SyntheOccは、どのようにして3D幾何情報を2D拡散モデルへの条件付き入力として効率的にエンコードするかという重要な課題に取り組んでいます。当該アプローチは、3Dセマンティックマルチプレーン画像(MPIs)を革新的に取り入れ、包括的で空間的に整列した3Dシーンの記述を提供します。その結果、SyntheOccは、与えられた幾何学的ラベル（3Dボクセル空間のセマンティクス）と忠実に整合する写実的なマルチビュー画像やビデオを生成することができます。nuScenesデータセットでのSyntheOccの包括的な定性的および定量的評価は、知覚モデルへの効果的なデータ拡張として機能する制御可能な占有データセットの生成におけるその効果を証明しています。

English

The advancement of autonomous driving is increasingly reliant on high-quality annotated datasets, especially in the task of 3D occupancy prediction, where the occupancy labels require dense 3D annotation with significant human effort. In this paper, we propose SyntheOcc, which denotes a diffusion model that Synthesize photorealistic and geometric-controlled images by conditioning Occupancy labels in driving scenarios. This yields an unlimited amount of diverse, annotated, and controllable datasets for applications like training perception models and simulation. SyntheOcc addresses the critical challenge of how to efficiently encode 3D geometric information as conditional input to a 2D diffusion model. Our approach innovatively incorporates 3D semantic multi-plane images (MPIs) to provide comprehensive and spatially aligned 3D scene descriptions for conditioning. As a result, SyntheOcc can generate photorealistic multi-view images and videos that faithfully align with the given geometric labels (semantics in 3D voxel space). Extensive qualitative and quantitative evaluations of SyntheOcc on the nuScenes dataset prove its effectiveness in generating controllable occupancy datasets that serve as an effective data augmentation to perception models.