SyntheOcc: Sintetizar Imagens do Street View Controladas Geometricamente por meio de MPIs Semânticos 3D

SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs

October 1, 2024

Autores: Leheng Li, Weichao Qiu, Yingjie Cai, Xu Yan, Qing Lian, Bingbing Liu, Ying-Cong Chen

cs.AI

Resumo

O avanço da condução autônoma depende cada vez mais de conjuntos de dados anotados de alta qualidade, especialmente na tarefa de previsão de ocupação 3D, onde os rótulos de ocupação exigem uma anotação 3D densa com significativo esforço humano. Neste artigo, propomos o SyntheOcc, que denota um modelo de difusão que sintetiza imagens fotorrealistas e geometricamente controladas condicionando rótulos de ocupação em cenários de condução. Isso resulta em uma quantidade ilimitada de conjuntos de dados diversos, anotados e controláveis para aplicações como treinamento de modelos de percepção e simulação. O SyntheOcc aborda o desafio crítico de como codificar eficientemente informações geométricas 3D como entrada condicional para um modelo de difusão 2D. Nossa abordagem incorpora de forma inovadora imagens 3D semânticas de múltiplos planos (MPIs) para fornecer descrições abrangentes e espacialmente alinhadas de cenas 3D para condicionamento. Como resultado, o SyntheOcc pode gerar imagens e vídeos fotorrealistas de múltiplas vistas que se alinham fielmente com os rótulos geométricos fornecidos (semântica no espaço de voxels 3D). Avaliações qualitativas e quantitativas extensas do SyntheOcc no conjunto de dados nuScenes comprovam sua eficácia na geração de conjuntos de dados de ocupação controláveis que servem como uma eficaz ampliação de dados para modelos de percepção.

English

The advancement of autonomous driving is increasingly reliant on high-quality annotated datasets, especially in the task of 3D occupancy prediction, where the occupancy labels require dense 3D annotation with significant human effort. In this paper, we propose SyntheOcc, which denotes a diffusion model that Synthesize photorealistic and geometric-controlled images by conditioning Occupancy labels in driving scenarios. This yields an unlimited amount of diverse, annotated, and controllable datasets for applications like training perception models and simulation. SyntheOcc addresses the critical challenge of how to efficiently encode 3D geometric information as conditional input to a 2D diffusion model. Our approach innovatively incorporates 3D semantic multi-plane images (MPIs) to provide comprehensive and spatially aligned 3D scene descriptions for conditioning. As a result, SyntheOcc can generate photorealistic multi-view images and videos that faithfully align with the given geometric labels (semantics in 3D voxel space). Extensive qualitative and quantitative evaluations of SyntheOcc on the nuScenes dataset prove its effectiveness in generating controllable occupancy datasets that serve as an effective data augmentation to perception models.