CAT3D: Erstellen Sie beliebige Objekte in 3D mit Multi-View Diffusionsmodellen.

CAT3D: Create Anything in 3D with Multi-View Diffusion Models

May 16, 2024

Autoren: Ruiqi Gao, Aleksander Holynski, Philipp Henzler, Arthur Brussee, Ricardo Martin-Brualla, Pratul Srinivasan, Jonathan T. Barron, Ben Poole

cs.AI

Zusammenfassung

Fortschritte in der 3D-Rekonstruktion haben hochwertige 3D-Erfassung ermöglicht, erfordern jedoch, dass ein Benutzer Hunderte bis Tausende von Bildern sammelt, um eine 3D-Szene zu erstellen. Wir stellen CAT3D vor, eine Methode zur Erstellung beliebiger Objekte in 3D durch die Simulation dieses Prozesses der Echtwelterfassung mit einem Mehransichts-Diffusionsmodell. Unter Verwendung einer beliebigen Anzahl von Eingabebildern und einer Reihe von Zielneuansichten generiert unser Modell äußerst konsistente neue Ansichten einer Szene. Diese generierten Ansichten können als Eingabe für robuste 3D-Rekonstruktionstechniken verwendet werden, um 3D-Repräsentationen zu erzeugen, die in Echtzeit aus jeder Perspektive gerendert werden können. CAT3D kann ganze 3D-Szenen in so wenig wie einer Minute erstellen und übertrifft bestehende Methoden für die Erstellung von 3D-Szenen aus einem einzelnen Bild oder wenigen Ansichten. Besuchen Sie unsere Projektseite für Ergebnisse und interaktive Demos unter https://cat3d.github.io.

English

Advances in 3D reconstruction have enabled high-quality 3D capture, but require a user to collect hundreds to thousands of images to create a 3D scene. We present CAT3D, a method for creating anything in 3D by simulating this real-world capture process with a multi-view diffusion model. Given any number of input images and a set of target novel viewpoints, our model generates highly consistent novel views of a scene. These generated views can be used as input to robust 3D reconstruction techniques to produce 3D representations that can be rendered from any viewpoint in real-time. CAT3D can create entire 3D scenes in as little as one minute, and outperforms existing methods for single image and few-view 3D scene creation. See our project page for results and interactive demos at https://cat3d.github.io .