CAT4D: マルチビュー動画拡散モデルを用いた4次元での何でも創造

CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models

November 27, 2024

著者: Rundi Wu, Ruiqi Gao, Ben Poole, Alex Trevithick, Changxi Zheng, Jonathan T. Barron, Aleksander Holynski

cs.AI

要旨

CAT4Dは、単眼ビデオから4D（動的3D）シーンを作成する手法を提案します。CAT4Dは、さまざまな組み合わせのデータセットでトレーニングされたマルチビュー・ビデオ拡散モデルを活用し、任意のカメラポーズとタイムスタンプで新しいビュー合成を可能にします。新しいサンプリング手法と組み合わせることで、このモデルは単眼ビデオをマルチビュー・ビデオに変換し、変形可能な3Dガウス表現の最適化を通じて堅牢な4D再構築を実現します。私たちは、新しいビュー合成および動的シーン再構築のベンチマークで競争力のあるパフォーマンスを示し、実際または生成されたビデオからの4Dシーン生成の創造的な能力を強調します。結果やインタラクティブなデモについては、弊社のプロジェクトページをご覧ください：cat-4d.github.io。

English

We present CAT4D, a method for creating 4D (dynamic 3D) scenes from monocular video. CAT4D leverages a multi-view video diffusion model trained on a diverse combination of datasets to enable novel view synthesis at any specified camera poses and timestamps. Combined with a novel sampling approach, this model can transform a single monocular video into a multi-view video, enabling robust 4D reconstruction via optimization of a deformable 3D Gaussian representation. We demonstrate competitive performance on novel view synthesis and dynamic scene reconstruction benchmarks, and highlight the creative capabilities for 4D scene generation from real or generated videos. See our project page for results and interactive demos: cat-4d.github.io.