CAT4D: Crie Qualquer Coisa em 4D com Modelos de Difusão de Vídeo de Múltiplas Visualizações

CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models

November 27, 2024

Autores: Rundi Wu, Ruiqi Gao, Ben Poole, Alex Trevithick, Changxi Zheng, Jonathan T. Barron, Aleksander Holynski

cs.AI

Resumo

Apresentamos o CAT4D, um método para criar cenas 4D (3D dinâmico) a partir de vídeos monoculares. O CAT4D aproveita um modelo de difusão de vídeo de várias visualizações treinado em uma combinação diversificada de conjuntos de dados para possibilitar a síntese de novas visualizações em quaisquer poses de câmera e timestamps especificados. Combinado com uma abordagem de amostragem inovadora, esse modelo pode transformar um único vídeo monocular em um vídeo de várias visualizações, permitindo uma reconstrução 4D robusta por meio da otimização de uma representação gaussiana 3D deformável. Demonstramos um desempenho competitivo em benchmarks de síntese de novas visualizações e reconstrução de cenas dinâmicas, e destacamos as capacidades criativas para geração de cenas 4D a partir de vídeos reais ou gerados. Consulte nossa página do projeto para ver os resultados e demonstrações interativas: cat-4d.github.io.

English

We present CAT4D, a method for creating 4D (dynamic 3D) scenes from monocular video. CAT4D leverages a multi-view video diffusion model trained on a diverse combination of datasets to enable novel view synthesis at any specified camera poses and timestamps. Combined with a novel sampling approach, this model can transform a single monocular video into a multi-view video, enabling robust 4D reconstruction via optimization of a deformable 3D Gaussian representation. We demonstrate competitive performance on novel view synthesis and dynamic scene reconstruction benchmarks, and highlight the creative capabilities for 4D scene generation from real or generated videos. See our project page for results and interactive demos: cat-4d.github.io.