CAT4D: Создание Любого Объекта в 4D с Моделями Диффузии Видео из Множества Видов

CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models

November 27, 2024

Авторы: Rundi Wu, Ruiqi Gao, Ben Poole, Alex Trevithick, Changxi Zheng, Jonathan T. Barron, Aleksander Holynski

cs.AI

Аннотация

Мы представляем CAT4D, метод создания 4D (динамических 3D) сцен из монокулярного видео. CAT4D использует модель многозрительного диффузионного видео, обученную на разнообразных наборах данных, для синтеза нового вида в любых заданных позах камеры и временных метках. В сочетании с новым подходом к выборке, эта модель может преобразовать одиночное монокулярное видео в многозрительное видео, обеспечивая надежное восстановление 4D путем оптимизации деформируемого трехмерного гауссова представления. Мы демонстрируем конкурентоспособную производительность на бенчмарках синтеза нового вида и восстановления динамичных сцен, а также выделяем творческие возможности для создания 4D сцен из реальных или сгенерированных видео. См. нашу страницу проекта для результатов и интерактивных демонстраций: cat-4d.github.io.

English

We present CAT4D, a method for creating 4D (dynamic 3D) scenes from monocular video. CAT4D leverages a multi-view video diffusion model trained on a diverse combination of datasets to enable novel view synthesis at any specified camera poses and timestamps. Combined with a novel sampling approach, this model can transform a single monocular video into a multi-view video, enabling robust 4D reconstruction via optimization of a deformable 3D Gaussian representation. We demonstrate competitive performance on novel view synthesis and dynamic scene reconstruction benchmarks, and highlight the creative capabilities for 4D scene generation from real or generated videos. See our project page for results and interactive demos: cat-4d.github.io.