CAT4D: Erschaffen Sie alles in 4D mit Multi-View Video Diffusionsmodellen

CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models

November 27, 2024

Autoren: Rundi Wu, Ruiqi Gao, Ben Poole, Alex Trevithick, Changxi Zheng, Jonathan T. Barron, Aleksander Holynski

cs.AI

Zusammenfassung

Wir präsentieren CAT4D, eine Methode zur Erstellung von 4D (dynamischen 3D) Szenen aus monokularen Videos. CAT4D nutzt ein Multi-View Video-Diffusionsmodell, das auf einer vielfältigen Kombination von Datensätzen trainiert ist, um eine neuartige Ansichtssynthese bei beliebigen Kamerapositionen und Zeitstempeln zu ermöglichen. In Kombination mit einem innovativen Sampling-Ansatz kann dieses Modell ein einzelnes monokulares Video in ein Multi-View Video umwandeln, was eine robuste 4D-Rekonstruktion durch Optimierung einer verformbaren 3D-Gaußschen Darstellung ermöglicht. Wir zeigen eine wettbewerbsfähige Leistung bei der Ansichtssynthese und der Rekonstruktion dynamischer Szenen und heben die kreativen Fähigkeiten zur Generierung von 4D-Szenen aus realen oder generierten Videos hervor. Besuchen Sie unsere Projektseite für Ergebnisse und interaktive Demos: cat-4d.github.io.

English

We present CAT4D, a method for creating 4D (dynamic 3D) scenes from monocular video. CAT4D leverages a multi-view video diffusion model trained on a diverse combination of datasets to enable novel view synthesis at any specified camera poses and timestamps. Combined with a novel sampling approach, this model can transform a single monocular video into a multi-view video, enabling robust 4D reconstruction via optimization of a deformable 3D Gaussian representation. We demonstrate competitive performance on novel view synthesis and dynamic scene reconstruction benchmarks, and highlight the creative capabilities for 4D scene generation from real or generated videos. See our project page for results and interactive demos: cat-4d.github.io.