SV3D: Síntese de Multi-visão e Geração 3D a partir de uma Única Imagem utilizando Difusão de Vídeo Latente

SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion

March 18, 2024

Autores: Vikram Voleti, Chun-Han Yao, Mark Boss, Adam Letts, David Pankratz, Dmitry Tochilkin, Christian Laforte, Robin Rombach, Varun Jampani

cs.AI

Resumo

Apresentamos o Stable Video 3D (SV3D) — um modelo de difusão de vídeo latente para geração de alta resolução de imagens para múltiplas vistas de vídeos orbitais em torno de um objeto 3D. Trabalhos recentes sobre geração 3D propõem técnicas para adaptar modelos generativos 2D para síntese de novas vistas (NVS) e otimização 3D. No entanto, esses métodos apresentam várias desvantagens devido a vistas limitadas ou NVS inconsistentes, afetando assim o desempenho da geração de objetos 3D. Neste trabalho, propomos o SV3D, que adapta um modelo de difusão de imagem para vídeo para síntese de múltiplas vistas e geração 3D, aproveitando a generalização e a consistência de múltiplas vistas dos modelos de vídeo, além de adicionar controle explícito de câmera para NVS. Também propomos técnicas aprimoradas de otimização 3D para utilizar o SV3D e suas saídas de NVS na geração de imagens para 3D. Resultados experimentais extensivos em múltiplos conjuntos de dados, com métricas 2D e 3D, bem como estudos com usuários, demonstram o desempenho de ponta do SV3D em NVS e reconstrução 3D em comparação com trabalhos anteriores.

English

We present Stable Video 3D (SV3D) -- a latent video diffusion model for high-resolution, image-to-multi-view generation of orbital videos around a 3D object. Recent work on 3D generation propose techniques to adapt 2D generative models for novel view synthesis (NVS) and 3D optimization. However, these methods have several disadvantages due to either limited views or inconsistent NVS, thereby affecting the performance of 3D object generation. In this work, we propose SV3D that adapts image-to-video diffusion model for novel multi-view synthesis and 3D generation, thereby leveraging the generalization and multi-view consistency of the video models, while further adding explicit camera control for NVS. We also propose improved 3D optimization techniques to use SV3D and its NVS outputs for image-to-3D generation. Extensive experimental results on multiple datasets with 2D and 3D metrics as well as user study demonstrate SV3D's state-of-the-art performance on NVS as well as 3D reconstruction compared to prior works.