SyntheOcc : Synthèse d'images de Street View contrôlées géométriquement à travers des MPIs sémantiques en 3D

SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs

October 1, 2024

Auteurs: Leheng Li, Weichao Qiu, Yingjie Cai, Xu Yan, Qing Lian, Bingbing Liu, Ying-Cong Chen

cs.AI

Résumé

L'avancement de la conduite autonome dépend de plus en plus de jeux de données annotés de haute qualité, en particulier dans la tâche de prédiction d'occupation 3D, où les étiquettes d'occupation nécessitent une annotation 3D dense avec un effort humain significatif. Dans cet article, nous proposons SyntheOcc, qui désigne un modèle de diffusion qui synthétise des images photoréalistes et géométriquement contrôlées en conditionnant les étiquettes d'occupation dans des scénarios de conduite. Cela permet de générer une quantité illimitée de jeux de données diversifiés, annotés et contrôlables pour des applications telles que l'entraînement de modèles de perception et la simulation. SyntheOcc aborde le défi crucial de comment encoder efficacement les informations géométriques 3D en tant qu'entrée conditionnelle à un modèle de diffusion 2D. Notre approche intègre de manière innovante des images sémantiques 3D multi-plans (MPI) pour fournir des descriptions de scènes 3D complètes et spatialement alignées pour la condition. En conséquence, SyntheOcc peut générer des images et des vidéos multi-vues photoréalistes qui s'alignent fidèlement sur les étiquettes géométriques données (sémantique dans l'espace voxel 3D). Des évaluations qualitatives et quantitatives approfondies de SyntheOcc sur l'ensemble de données nuScenes prouvent son efficacité dans la génération de jeux de données d'occupation contrôlables qui servent de méthode d'augmentation de données efficace pour les modèles de perception.

English

The advancement of autonomous driving is increasingly reliant on high-quality annotated datasets, especially in the task of 3D occupancy prediction, where the occupancy labels require dense 3D annotation with significant human effort. In this paper, we propose SyntheOcc, which denotes a diffusion model that Synthesize photorealistic and geometric-controlled images by conditioning Occupancy labels in driving scenarios. This yields an unlimited amount of diverse, annotated, and controllable datasets for applications like training perception models and simulation. SyntheOcc addresses the critical challenge of how to efficiently encode 3D geometric information as conditional input to a 2D diffusion model. Our approach innovatively incorporates 3D semantic multi-plane images (MPIs) to provide comprehensive and spatially aligned 3D scene descriptions for conditioning. As a result, SyntheOcc can generate photorealistic multi-view images and videos that faithfully align with the given geometric labels (semantics in 3D voxel space). Extensive qualitative and quantitative evaluations of SyntheOcc on the nuScenes dataset prove its effectiveness in generating controllable occupancy datasets that serve as an effective data augmentation to perception models.