SV3D: Neue Multi-View-Synthese und 3D-Generierung aus einem einzigen Bild unter Verwendung der latenten Video-Diffusion.

SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion

March 18, 2024

Autoren: Vikram Voleti, Chun-Han Yao, Mark Boss, Adam Letts, David Pankratz, Dmitry Tochilkin, Christian Laforte, Robin Rombach, Varun Jampani

cs.AI

Zusammenfassung

Wir präsentieren Stable Video 3D (SV3D) - ein latentes Video-Diffusionsmodell für die hochauflösende Bild-zu-Multi-View-Generierung von orbitalen Videos um ein 3D-Objekt. Aktuelle Arbeiten zur 3D-Generierung schlagen Techniken vor, um 2D-generative Modelle für die Synthese neuer Ansichten (NVS) und 3D-Optimierung anzupassen. Diese Methoden haben jedoch mehrere Nachteile aufgrund entweder begrenzter Ansichten oder inkonsistenter NVS, was sich negativ auf die Leistung der 3D-Objektgenerierung auswirkt. In dieser Arbeit schlagen wir SV3D vor, das ein Bild-zu-Video-Diffusionsmodell für die neuartige Multi-View-Synthese und 3D-Generierung anpasst, wodurch die Verallgemeinerung und Multi-View-Konsistenz der Video-Modelle genutzt wird, während gleichzeitig eine explizite Kamerasteuerung für NVS hinzugefügt wird. Wir schlagen auch verbesserte 3D-Optimierungstechniken vor, um SV3D und seine NVS-Ausgaben für die Bild-zu-3D-Generierung zu verwenden. Umfangreiche experimentelle Ergebnisse auf mehreren Datensätzen mit 2D- und 3D-Metriken sowie Benutzerstudien zeigen die herausragende Leistung von SV3D bei NVS sowie 3D-Rekonstruktion im Vergleich zu früheren Arbeiten.

English

We present Stable Video 3D (SV3D) -- a latent video diffusion model for high-resolution, image-to-multi-view generation of orbital videos around a 3D object. Recent work on 3D generation propose techniques to adapt 2D generative models for novel view synthesis (NVS) and 3D optimization. However, these methods have several disadvantages due to either limited views or inconsistent NVS, thereby affecting the performance of 3D object generation. In this work, we propose SV3D that adapts image-to-video diffusion model for novel multi-view synthesis and 3D generation, thereby leveraging the generalization and multi-view consistency of the video models, while further adding explicit camera control for NVS. We also propose improved 3D optimization techniques to use SV3D and its NVS outputs for image-to-3D generation. Extensive experimental results on multiple datasets with 2D and 3D metrics as well as user study demonstrate SV3D's state-of-the-art performance on NVS as well as 3D reconstruction compared to prior works.