CAT4D: Creëer Alles in 4D met Multi-View Video Diffusie Modellen

CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models

November 27, 2024

Auteurs: Rundi Wu, Ruiqi Gao, Ben Poole, Alex Trevithick, Changxi Zheng, Jonathan T. Barron, Aleksander Holynski

cs.AI

Samenvatting

We presenteren CAT4D, een methode voor het creëren van 4D (dynamische 3D) scènes van monoculair video. CAT4D maakt gebruik van een multi-view video diffusie model dat is getraind op een diverse combinatie van datasets om nieuwe weergavesynthese mogelijk te maken op elke gespecificeerde camerapositie en tijdstempel. Gecombineerd met een nieuwe bemonsteringsbenadering kan dit model een enkele monoculaire video transformeren naar een multi-view video, waardoor robuuste 4D reconstructie mogelijk is door optimalisatie van een vervormbare 3D Gaussische representatie. We tonen competitieve prestaties op benchmarks voor nieuwe weergavesynthese en dynamische scène reconstructie, en benadrukken de creatieve mogelijkheden voor 4D scène generatie van echte of gegenereerde video's. Zie onze projectpagina voor resultaten en interactieve demo's: cat-4d.github.io.

English

We present CAT4D, a method for creating 4D (dynamic 3D) scenes from monocular video. CAT4D leverages a multi-view video diffusion model trained on a diverse combination of datasets to enable novel view synthesis at any specified camera poses and timestamps. Combined with a novel sampling approach, this model can transform a single monocular video into a multi-view video, enabling robust 4D reconstruction via optimization of a deformable 3D Gaussian representation. We demonstrate competitive performance on novel view synthesis and dynamic scene reconstruction benchmarks, and highlight the creative capabilities for 4D scene generation from real or generated videos. See our project page for results and interactive demos: cat-4d.github.io.