SyntheOcc: Синтез изображений улиц с управлением геометрии через 3D семантические MPI.
SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs
October 1, 2024
Авторы: Leheng Li, Weichao Qiu, Yingjie Cai, Xu Yan, Qing Lian, Bingbing Liu, Ying-Cong Chen
cs.AI
Аннотация
Продвижение автономного вождения все более зависит от высококачественных аннотированных наборов данных, особенно в задаче прогнозирования трехмерной занятости, где метки занятости требуют плотной трехмерной аннотации с значительными усилиями человека. В данной статье мы предлагаем SyntheOcc, обозначающий модель диффузии, которая синтезирует фотореалистичные и геометрически управляемые изображения путем условного формирования меток занятости в сценариях вождения. Это позволяет создавать неограниченное количество разнообразных, аннотированных и управляемых наборов данных для приложений, таких как обучение моделей восприятия и симуляция. SyntheOcc решает ключевую проблему эффективного кодирования трехмерной геометрической информации в качестве условного входа для двумерной модели диффузии. Наш подход инновационно включает трехмерные семантические многоплоскостные изображения (MPI), чтобы предоставить комплексные и пространственно выровненные описания трехмерных сцен для условной обработки. В результате SyntheOcc способен генерировать фотореалистичные многозрительные изображения и видео, которые точно соответствуют заданным геометрическим меткам (семантика в трехмерном воксельном пространстве). Обширные качественные и количественные оценки SyntheOcc на наборе данных nuScenes подтверждают его эффективность в создании управляемых наборов данных о занятости, которые служат эффективным дополнением данных для моделей восприятия.
English
The advancement of autonomous driving is increasingly reliant on high-quality
annotated datasets, especially in the task of 3D occupancy prediction, where
the occupancy labels require dense 3D annotation with significant human effort.
In this paper, we propose SyntheOcc, which denotes a diffusion model that
Synthesize photorealistic and geometric-controlled images by conditioning
Occupancy labels in driving scenarios. This yields an unlimited amount of
diverse, annotated, and controllable datasets for applications like training
perception models and simulation. SyntheOcc addresses the critical challenge of
how to efficiently encode 3D geometric information as conditional input to a 2D
diffusion model. Our approach innovatively incorporates 3D semantic multi-plane
images (MPIs) to provide comprehensive and spatially aligned 3D scene
descriptions for conditioning. As a result, SyntheOcc can generate
photorealistic multi-view images and videos that faithfully align with the
given geometric labels (semantics in 3D voxel space). Extensive qualitative and
quantitative evaluations of SyntheOcc on the nuScenes dataset prove its
effectiveness in generating controllable occupancy datasets that serve as an
effective data augmentation to perception models.