SV3D : Nouvelle synthèse multi-vues et génération 3D à partir d'une seule image utilisant la diffusion vidéo latente

SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion

March 18, 2024

papers.authors: Vikram Voleti, Chun-Han Yao, Mark Boss, Adam Letts, David Pankratz, Dmitry Tochilkin, Christian Laforte, Robin Rombach, Varun Jampani

cs.AI

papers.abstract

Nous présentons Stable Video 3D (SV3D) — un modèle de diffusion vidéo latent pour la génération haute résolution d'images vers des vues multiples, produisant des vidéos orbitales autour d'un objet 3D. Les travaux récents sur la génération 3D proposent des techniques pour adapter des modèles génératifs 2D à la synthèse de nouvelles vues (NVS) et à l'optimisation 3D. Cependant, ces méthodes présentent plusieurs inconvénients, notamment des vues limitées ou une synthèse de nouvelles vues incohérente, ce qui affecte les performances de la génération d'objets 3D. Dans ce travail, nous proposons SV3D, qui adapte un modèle de diffusion image-à-vidéo pour la synthèse de nouvelles vues multiples et la génération 3D, tirant ainsi parti de la généralisation et de la cohérence multi-vues des modèles vidéo, tout en ajoutant un contrôle explicite de la caméra pour la NVS. Nous proposons également des techniques améliorées d'optimisation 3D pour utiliser SV3D et ses sorties NVS dans la génération image-à-3D. Des résultats expérimentaux approfondis sur plusieurs ensembles de données, avec des métriques 2D et 3D ainsi qu'une étude utilisateur, démontrent que SV3D atteint des performances de pointe en NVS ainsi qu'en reconstruction 3D par rapport aux travaux antérieurs.

English

We present Stable Video 3D (SV3D) -- a latent video diffusion model for high-resolution, image-to-multi-view generation of orbital videos around a 3D object. Recent work on 3D generation propose techniques to adapt 2D generative models for novel view synthesis (NVS) and 3D optimization. However, these methods have several disadvantages due to either limited views or inconsistent NVS, thereby affecting the performance of 3D object generation. In this work, we propose SV3D that adapts image-to-video diffusion model for novel multi-view synthesis and 3D generation, thereby leveraging the generalization and multi-view consistency of the video models, while further adding explicit camera control for NVS. We also propose improved 3D optimization techniques to use SV3D and its NVS outputs for image-to-3D generation. Extensive experimental results on multiple datasets with 2D and 3D metrics as well as user study demonstrate SV3D's state-of-the-art performance on NVS as well as 3D reconstruction compared to prior works.