SyntheOcc: Sintetizar imágenes de vista de calle controladas geométricamente a través de MPIs semánticos en 3D

SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs

October 1, 2024

Autores: Leheng Li, Weichao Qiu, Yingjie Cai, Xu Yan, Qing Lian, Bingbing Liu, Ying-Cong Chen

cs.AI

Resumen

El avance de la conducción autónoma depende cada vez más de conjuntos de datos anotados de alta calidad, especialmente en la tarea de predicción de ocupación 3D, donde las etiquetas de ocupación requieren una anotación 3D densa con un esfuerzo humano significativo. En este documento, proponemos SyntheOcc, que denota un modelo de difusión que sintetiza imágenes fotorrealistas y controladas geométricamente condicionando etiquetas de ocupación en escenarios de conducción. Esto produce una cantidad ilimitada de conjuntos de datos diversos, anotados y controlables para aplicaciones como el entrenamiento de modelos de percepción y simulación. SyntheOcc aborda el desafío crítico de cómo codificar eficientemente la información geométrica 3D como entrada condicional a un modelo de difusión 2D. Nuestro enfoque incorpora de manera innovadora imágenes 3D semánticas de múltiples planos (MPIs) para proporcionar descripciones de escenas 3D completas y alineadas espacialmente para la condición. Como resultado, SyntheOcc puede generar imágenes y videos fotorrealistas de múltiples vistas que se alinean fielmente con las etiquetas geométricas dadas (semántica en el espacio de voxels 3D). Evaluaciones cualitativas y cuantitativas extensas de SyntheOcc en el conjunto de datos de nuScenes demuestran su efectividad en la generación de conjuntos de datos de ocupación controlables que sirven como una efectiva ampliación de datos para modelos de percepción.

English

The advancement of autonomous driving is increasingly reliant on high-quality annotated datasets, especially in the task of 3D occupancy prediction, where the occupancy labels require dense 3D annotation with significant human effort. In this paper, we propose SyntheOcc, which denotes a diffusion model that Synthesize photorealistic and geometric-controlled images by conditioning Occupancy labels in driving scenarios. This yields an unlimited amount of diverse, annotated, and controllable datasets for applications like training perception models and simulation. SyntheOcc addresses the critical challenge of how to efficiently encode 3D geometric information as conditional input to a 2D diffusion model. Our approach innovatively incorporates 3D semantic multi-plane images (MPIs) to provide comprehensive and spatially aligned 3D scene descriptions for conditioning. As a result, SyntheOcc can generate photorealistic multi-view images and videos that faithfully align with the given geometric labels (semantics in 3D voxel space). Extensive qualitative and quantitative evaluations of SyntheOcc on the nuScenes dataset prove its effectiveness in generating controllable occupancy datasets that serve as an effective data augmentation to perception models.