SV3D: Innovatieve multi-view synthese en 3D-generatie vanuit een enkele afbeelding met behulp van latente videodiffusie

SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion

March 18, 2024

Auteurs: Vikram Voleti, Chun-Han Yao, Mark Boss, Adam Letts, David Pankratz, Dmitry Tochilkin, Christian Laforte, Robin Rombach, Varun Jampani

cs.AI

Samenvatting

We presenteren Stable Video 3D (SV3D) -- een latent video-diffusiemodel voor hoogwaardige, beeld-naar-multi-view generatie van orbitale video's rond een 3D-object. Recente ontwikkelingen in 3D-generatie stellen technieken voor om 2D-generatieve modellen aan te passen voor nieuwe weergavesynthese (NVS) en 3D-optimalisatie. Deze methoden hebben echter verschillende nadelen vanwege beperkte weergaven of inconsistente NVS, wat de prestaties van 3D-objectgeneratie beïnvloedt. In dit werk stellen we SV3D voor, dat een beeld-naar-video diffusiemodel aanpast voor nieuwe multi-view synthese en 3D-generatie, waarbij de generalisatie en multi-view consistentie van videomodellen wordt benut, terwijl expliciete camerabesturing voor NVS wordt toegevoegd. We introduceren ook verbeterde 3D-optimalisatietechnieken om SV3D en zijn NVS-uitvoer te gebruiken voor beeld-naar-3D-generatie. Uitgebreide experimentele resultaten op meerdere datasets met zowel 2D- als 3D-metingen, evenals een gebruikersstudie, tonen aan dat SV3D state-of-the-art prestaties levert op het gebied van NVS en 3D-reconstructie in vergelijking met eerdere werken.

English

We present Stable Video 3D (SV3D) -- a latent video diffusion model for high-resolution, image-to-multi-view generation of orbital videos around a 3D object. Recent work on 3D generation propose techniques to adapt 2D generative models for novel view synthesis (NVS) and 3D optimization. However, these methods have several disadvantages due to either limited views or inconsistent NVS, thereby affecting the performance of 3D object generation. In this work, we propose SV3D that adapts image-to-video diffusion model for novel multi-view synthesis and 3D generation, thereby leveraging the generalization and multi-view consistency of the video models, while further adding explicit camera control for NVS. We also propose improved 3D optimization techniques to use SV3D and its NVS outputs for image-to-3D generation. Extensive experimental results on multiple datasets with 2D and 3D metrics as well as user study demonstrate SV3D's state-of-the-art performance on NVS as well as 3D reconstruction compared to prior works.