CAT3D: Creëer Alles in 3D met Multi-View Diffusiemodellen
CAT3D: Create Anything in 3D with Multi-View Diffusion Models
May 16, 2024
Auteurs: Ruiqi Gao, Aleksander Holynski, Philipp Henzler, Arthur Brussee, Ricardo Martin-Brualla, Pratul Srinivasan, Jonathan T. Barron, Ben Poole
cs.AI
Samenvatting
Vooruitgang in 3D-reconstructie heeft hoogwaardige 3D-captatie mogelijk gemaakt, maar vereist dat een gebruiker honderden tot duizenden afbeeldingen verzamelt om een 3D-scène te creëren. Wij presenteren CAT3D, een methode om alles in 3D te creëren door dit real-world captatieproces te simuleren met een multi-view diffusiemodel. Gegeven een willekeurig aantal invoerafbeeldingen en een set doel-nieuwe gezichtspunten, genereert ons model zeer consistente nieuwe aanzichten van een scène. Deze gegenereerde aanzichten kunnen worden gebruikt als invoer voor robuuste 3D-reconstructietechnieken om 3D-representaties te produceren die vanuit elk gezichtspunt in real-time kunnen worden weergegeven. CAT3D kan volledige 3D-scènes creëren in slechts één minuut en overtreft bestaande methoden voor 3D-scènecreatie met één afbeelding of enkele aanzichten. Bekijk onze projectpagina voor resultaten en interactieve demo's op https://cat3d.github.io.
English
Advances in 3D reconstruction have enabled high-quality 3D capture, but
require a user to collect hundreds to thousands of images to create a 3D scene.
We present CAT3D, a method for creating anything in 3D by simulating this
real-world capture process with a multi-view diffusion model. Given any number
of input images and a set of target novel viewpoints, our model generates
highly consistent novel views of a scene. These generated views can be used as
input to robust 3D reconstruction techniques to produce 3D representations that
can be rendered from any viewpoint in real-time. CAT3D can create entire 3D
scenes in as little as one minute, and outperforms existing methods for single
image and few-view 3D scene creation. See our project page for results and
interactive demos at https://cat3d.github.io .