SV3D: Sintesi Innovativa da Multi-vista e Generazione 3D da una Singola Immagine Utilizzando la Diffusione di Video Latenti

SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion

March 18, 2024

Autori: Vikram Voleti, Chun-Han Yao, Mark Boss, Adam Letts, David Pankratz, Dmitry Tochilkin, Christian Laforte, Robin Rombach, Varun Jampani

cs.AI

Abstract

Presentiamo Stable Video 3D (SV3D) — un modello di diffusione video latente per la generazione ad alta risoluzione di video orbitali multi-vista attorno a un oggetto 3D a partire da immagini. I lavori recenti sulla generazione 3D propongono tecniche per adattare modelli generativi 2D alla sintesi di nuove viste (NVS) e all'ottimizzazione 3D. Tuttavia, questi metodi presentano diversi svantaggi dovuti a viste limitate o a una NVS incoerente, influenzando così le prestazioni nella generazione di oggetti 3D. In questo lavoro, proponiamo SV3D, che adatta un modello di diffusione immagine-video per la sintesi multi-vista e la generazione 3D, sfruttando la generalizzazione e la coerenza multi-vista dei modelli video, aggiungendo inoltre un controllo esplicito della camera per la NVS. Proponiamo anche tecniche di ottimizzazione 3D migliorate per utilizzare SV3D e i suoi output NVS nella generazione immagine-3D. Risultati sperimentali estesi su più dataset, con metriche 2D e 3D nonché uno studio utente, dimostrano che SV3D raggiunge prestazioni all'avanguardia nella NVS e nella ricostruzione 3D rispetto ai lavori precedenti.

English

We present Stable Video 3D (SV3D) -- a latent video diffusion model for high-resolution, image-to-multi-view generation of orbital videos around a 3D object. Recent work on 3D generation propose techniques to adapt 2D generative models for novel view synthesis (NVS) and 3D optimization. However, these methods have several disadvantages due to either limited views or inconsistent NVS, thereby affecting the performance of 3D object generation. In this work, we propose SV3D that adapts image-to-video diffusion model for novel multi-view synthesis and 3D generation, thereby leveraging the generalization and multi-view consistency of the video models, while further adding explicit camera control for NVS. We also propose improved 3D optimization techniques to use SV3D and its NVS outputs for image-to-3D generation. Extensive experimental results on multiple datasets with 2D and 3D metrics as well as user study demonstrate SV3D's state-of-the-art performance on NVS as well as 3D reconstruction compared to prior works.