SyntheOcc: Het synthetiseren van geometrie-gestuurde Street View-beelden via 3D semantische MPI's.

SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs

October 1, 2024

Auteurs: Leheng Li, Weichao Qiu, Yingjie Cai, Xu Yan, Qing Lian, Bingbing Liu, Ying-Cong Chen

cs.AI

Samenvatting

De vooruitgang van autonoom rijden is steeds meer afhankelijk van hoogwaardige geannoteerde datasets, vooral bij de taak van 3D bezettingsvoorspelling, waarbij de bezettingslabels dichte 3D-annotatie vereisen met aanzienlijke menselijke inspanning. In dit artikel stellen we SyntheOcc voor, wat een diffusiemodel aanduidt dat fotorealistische en geometrisch gecontroleerde afbeeldingen synthetiseert door de bezettingslabels in rijscenario's te conditioneren. Dit levert een onbeperkte hoeveelheid diverse, geannoteerde en controleerbare datasets op voor toepassingen zoals het trainen van perceptiemodellen en simulatie. SyntheOcc pakt de cruciale uitdaging aan van hoe 3D-geometrische informatie efficiënt te coderen als conditionele invoer voor een 2D diffusiemodel. Onze aanpak omvat innovatief 3D semantische multi-plane afbeeldingen (MPI's) om uitgebreide en ruimtelijk uitgelijnde 3D scènebeschrijvingen te bieden voor conditionering. Als gevolg hiervan kan SyntheOcc fotorealistische multi-view afbeeldingen en video's genereren die nauwkeurig overeenkomen met de gegeven geometrische labels (semantiek in 3D-voxelruimte). Uitgebreide kwalitatieve en kwantitatieve evaluaties van SyntheOcc op de nuScenes dataset bewijzen de effectiviteit ervan bij het genereren van controleerbare bezettingsdatasets die dienen als een effectieve gegevensaanvulling voor perceptiemodellen.

English

The advancement of autonomous driving is increasingly reliant on high-quality annotated datasets, especially in the task of 3D occupancy prediction, where the occupancy labels require dense 3D annotation with significant human effort. In this paper, we propose SyntheOcc, which denotes a diffusion model that Synthesize photorealistic and geometric-controlled images by conditioning Occupancy labels in driving scenarios. This yields an unlimited amount of diverse, annotated, and controllable datasets for applications like training perception models and simulation. SyntheOcc addresses the critical challenge of how to efficiently encode 3D geometric information as conditional input to a 2D diffusion model. Our approach innovatively incorporates 3D semantic multi-plane images (MPIs) to provide comprehensive and spatially aligned 3D scene descriptions for conditioning. As a result, SyntheOcc can generate photorealistic multi-view images and videos that faithfully align with the given geometric labels (semantics in 3D voxel space). Extensive qualitative and quantitative evaluations of SyntheOcc on the nuScenes dataset prove its effectiveness in generating controllable occupancy datasets that serve as an effective data augmentation to perception models.