SV3D: Síntesis novedosa de múltiples vistas y generación 3D a partir de una sola imagen utilizando difusión de video latente

SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion

March 18, 2024

Autores: Vikram Voleti, Chun-Han Yao, Mark Boss, Adam Letts, David Pankratz, Dmitry Tochilkin, Christian Laforte, Robin Rombach, Varun Jampani

cs.AI

Resumen

Presentamos Stable Video 3D (SV3D), un modelo de difusión de video latente para la generación de alta resolución de imágenes a múltiples vistas de videos orbitales alrededor de un objeto 3D. Trabajos recientes en generación 3D proponen técnicas para adaptar modelos generativos 2D para la síntesis de vistas novedosas (NVS) y la optimización 3D. Sin embargo, estos métodos presentan varias desventajas debido a vistas limitadas o inconsistencias en la NVS, lo que afecta el rendimiento de la generación de objetos 3D. En este trabajo, proponemos SV3D, que adapta un modelo de difusión de imagen a video para la síntesis de múltiples vistas novedosas y la generación 3D, aprovechando así la generalización y la consistencia de múltiples vistas de los modelos de video, mientras se añade un control explícito de la cámara para la NVS. También proponemos técnicas mejoradas de optimización 3D para utilizar SV3D y sus salidas de NVS en la generación de imagen a 3D. Resultados experimentales extensivos en múltiples conjuntos de datos con métricas 2D y 3D, así como un estudio de usuario, demuestran que SV3D alcanza un rendimiento de vanguardia en NVS y reconstrucción 3D en comparación con trabajos anteriores.

English

We present Stable Video 3D (SV3D) -- a latent video diffusion model for high-resolution, image-to-multi-view generation of orbital videos around a 3D object. Recent work on 3D generation propose techniques to adapt 2D generative models for novel view synthesis (NVS) and 3D optimization. However, these methods have several disadvantages due to either limited views or inconsistent NVS, thereby affecting the performance of 3D object generation. In this work, we propose SV3D that adapts image-to-video diffusion model for novel multi-view synthesis and 3D generation, thereby leveraging the generalization and multi-view consistency of the video models, while further adding explicit camera control for NVS. We also propose improved 3D optimization techniques to use SV3D and its NVS outputs for image-to-3D generation. Extensive experimental results on multiple datasets with 2D and 3D metrics as well as user study demonstrate SV3D's state-of-the-art performance on NVS as well as 3D reconstruction compared to prior works.