CAT4D : Créez n'importe quoi en 4D avec des modèles de diffusion vidéo multi-vues

CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models

November 27, 2024

Auteurs: Rundi Wu, Ruiqi Gao, Ben Poole, Alex Trevithick, Changxi Zheng, Jonathan T. Barron, Aleksander Holynski

cs.AI

Résumé

Nous présentons CAT4D, une méthode pour créer des scènes 4D (3D dynamique) à partir de vidéos monoscopiques. CAT4D exploite un modèle de diffusion vidéo multi-vues entraîné sur une combinaison diversifiée d'ensembles de données pour permettre une synthèse de vue novatrice à des poses de caméra et des horodatages spécifiés. Associé à une approche d'échantillonnage novatrice, ce modèle peut transformer une seule vidéo monoscopique en une vidéo multi-vues, permettant une reconstruction 4D robuste via l'optimisation d'une représentation gaussienne 3D déformable. Nous démontrons des performances compétitives sur des référentiels de synthèse de vue novatrice et de reconstruction de scène dynamique, et mettons en avant les capacités créatives pour la génération de scènes 4D à partir de vidéos réelles ou générées. Consultez notre page de projet pour les résultats et les démonstrations interactives : cat-4d.github.io.

English

We present CAT4D, a method for creating 4D (dynamic 3D) scenes from monocular video. CAT4D leverages a multi-view video diffusion model trained on a diverse combination of datasets to enable novel view synthesis at any specified camera poses and timestamps. Combined with a novel sampling approach, this model can transform a single monocular video into a multi-view video, enabling robust 4D reconstruction via optimization of a deformable 3D Gaussian representation. We demonstrate competitive performance on novel view synthesis and dynamic scene reconstruction benchmarks, and highlight the creative capabilities for 4D scene generation from real or generated videos. See our project page for results and interactive demos: cat-4d.github.io.