SyntheOcc: Synthese von geometrisch gesteuerten Straßenansichtsbildern durch 3D semantische MPIs

SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs

October 1, 2024

Autoren: Leheng Li, Weichao Qiu, Yingjie Cai, Xu Yan, Qing Lian, Bingbing Liu, Ying-Cong Chen

cs.AI

Zusammenfassung

Der Fortschritt des autonomen Fahrens ist zunehmend von hochwertigen annotierten Datensätzen abhängig, insbesondere bei der Aufgabe der 3D-Belegungsvorhersage, bei der die Belegungslabels eine dichte 3D-Annotation mit erheblichem menschlichem Aufwand erfordern. In diesem Papier schlagen wir SyntheOcc vor, das ein Diffusionsmodell bezeichnet, das fotorealistische und geometrisch gesteuerte Bilder synthetisiert, indem es Belegungslabels in Fahrszenarien konditioniert. Dies ermöglicht eine unbegrenzte Menge an vielfältigen, annotierten und steuerbaren Datensätzen für Anwendungen wie das Training von Wahrnehmungsmodellen und Simulationen. SyntheOcc begegnet der entscheidenden Herausforderung, wie man 3D-geometrische Informationen effizient als bedingte Eingabe in ein 2D-Diffusionsmodell kodiert. Unser Ansatz integriert innovativ 3D-semantische Mehrflächenebenenbilder (MPIs), um umfassende und räumlich ausgerichtete 3D-Szenenbeschreibungen für die Konditionierung bereitzustellen. Als Ergebnis kann SyntheOcc fotorealistische Multi-View-Bilder und Videos generieren, die sich treu mit den gegebenen geometrischen Labels (Semantik im 3D-Voxelraum) ausrichten. Umfangreiche qualitative und quantitative Bewertungen von SyntheOcc auf dem nuScenes-Datensatz belegen dessen Wirksamkeit bei der Erzeugung steuerbarer Belegungsdatensätze, die als effektive Datenanreicherung für Wahrnehmungsmodelle dienen.

English

The advancement of autonomous driving is increasingly reliant on high-quality annotated datasets, especially in the task of 3D occupancy prediction, where the occupancy labels require dense 3D annotation with significant human effort. In this paper, we propose SyntheOcc, which denotes a diffusion model that Synthesize photorealistic and geometric-controlled images by conditioning Occupancy labels in driving scenarios. This yields an unlimited amount of diverse, annotated, and controllable datasets for applications like training perception models and simulation. SyntheOcc addresses the critical challenge of how to efficiently encode 3D geometric information as conditional input to a 2D diffusion model. Our approach innovatively incorporates 3D semantic multi-plane images (MPIs) to provide comprehensive and spatially aligned 3D scene descriptions for conditioning. As a result, SyntheOcc can generate photorealistic multi-view images and videos that faithfully align with the given geometric labels (semantics in 3D voxel space). Extensive qualitative and quantitative evaluations of SyntheOcc on the nuScenes dataset prove its effectiveness in generating controllable occupancy datasets that serve as an effective data augmentation to perception models.