CAT3D：マルチビューディフュージョンモデルによる3Dオブジェクト生成

CAT3D: Create Anything in 3D with Multi-View Diffusion Models

May 16, 2024

著者: Ruiqi Gao, Aleksander Holynski, Philipp Henzler, Arthur Brussee, Ricardo Martin-Brualla, Pratul Srinivasan, Jonathan T. Barron, Ben Poole

cs.AI

要旨

3D再構成技術の進歩により高品質な3Dキャプチャが可能になりましたが、3Dシーンを作成するには数百から数千枚の画像を収集する必要があります。本論文では、CAT3Dを紹介します。これは、マルチビューディフュージョンモデルを用いて現実世界のキャプチャプロセスをシミュレートし、あらゆるものを3Dで作成する手法です。任意の数の入力画像と一連のターゲット新視点が与えられた場合、本モデルはシーンの高度に一貫性のある新規ビューを生成します。これらの生成されたビューは、堅牢な3D再構成技術への入力として使用でき、リアルタイムで任意の視点からレンダリング可能な3D表現を生成します。CAT3Dは、わずか1分で3Dシーン全体を作成することができ、単一画像および少数ビューからの3Dシーン作成において既存の手法を凌駕します。結果とインタラクティブデモについてはプロジェクトページ（https://cat3d.github.io）をご覧ください。

English

Advances in 3D reconstruction have enabled high-quality 3D capture, but require a user to collect hundreds to thousands of images to create a 3D scene. We present CAT3D, a method for creating anything in 3D by simulating this real-world capture process with a multi-view diffusion model. Given any number of input images and a set of target novel viewpoints, our model generates highly consistent novel views of a scene. These generated views can be used as input to robust 3D reconstruction techniques to produce 3D representations that can be rendered from any viewpoint in real-time. CAT3D can create entire 3D scenes in as little as one minute, and outperforms existing methods for single image and few-view 3D scene creation. See our project page for results and interactive demos at https://cat3d.github.io .