SyntheOcc: Sintetizzare Immagini della Street View Controllate Geometricamente attraverso MPI 3D Semantici

SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs

October 1, 2024

Autori: Leheng Li, Weichao Qiu, Yingjie Cai, Xu Yan, Qing Lian, Bingbing Liu, Ying-Cong Chen

cs.AI

Abstract

Il progresso della guida autonoma si basa sempre più su set di dati annotati di alta qualità, specialmente nel compito di previsione dell'occupazione 3D, dove le etichette di occupazione richiedono un'annotazione 3D densa con un significativo sforzo umano. In questo articolo, proponiamo SyntheOcc, che indica un modello di diffusione che sintetizza immagini fotorealistiche e geometricamente controllate condizionando le etichette di occupazione in scenari di guida. Ciò produce una quantità illimitata di set di dati diversi, annotati e controllabili per applicazioni come l'addestramento di modelli di percezione e simulazione. SyntheOcc affronta la sfida critica di come codificare efficientemente le informazioni geometriche 3D come input condizionale a un modello di diffusione 2D. Il nostro approccio incorpora in modo innovativo immagini semantiche multi-piano 3D (MPI) per fornire descrizioni complete e spazialmente allineate della scena 3D per il condizionamento. Di conseguenza, SyntheOcc può generare immagini e video fotorealistici multi-vista che si allineano fedelmente alle etichette geometriche fornite (semantica nello spazio voxel 3D). Valutazioni qualitative e quantitative estese di SyntheOcc sul dataset nuScenes ne dimostrano l'efficacia nella generazione di set di dati di occupazione controllabili che fungono da efficace aumento dei dati per i modelli di percezione.

English

The advancement of autonomous driving is increasingly reliant on high-quality annotated datasets, especially in the task of 3D occupancy prediction, where the occupancy labels require dense 3D annotation with significant human effort. In this paper, we propose SyntheOcc, which denotes a diffusion model that Synthesize photorealistic and geometric-controlled images by conditioning Occupancy labels in driving scenarios. This yields an unlimited amount of diverse, annotated, and controllable datasets for applications like training perception models and simulation. SyntheOcc addresses the critical challenge of how to efficiently encode 3D geometric information as conditional input to a 2D diffusion model. Our approach innovatively incorporates 3D semantic multi-plane images (MPIs) to provide comprehensive and spatially aligned 3D scene descriptions for conditioning. As a result, SyntheOcc can generate photorealistic multi-view images and videos that faithfully align with the given geometric labels (semantics in 3D voxel space). Extensive qualitative and quantitative evaluations of SyntheOcc on the nuScenes dataset prove its effectiveness in generating controllable occupancy datasets that serve as an effective data augmentation to perception models.