CAT3D: Creare Qualsiasi Cosa in 3D con Modelli di Diffusione Multi-Vista

CAT3D: Create Anything in 3D with Multi-View Diffusion Models

May 16, 2024

Autori: Ruiqi Gao, Aleksander Holynski, Philipp Henzler, Arthur Brussee, Ricardo Martin-Brualla, Pratul Srinivasan, Jonathan T. Barron, Ben Poole

cs.AI

Abstract

I progressi nella ricostruzione 3D hanno reso possibile una cattura 3D di alta qualità, ma richiedono all'utente di raccogliere centinaia o migliaia di immagini per creare una scena 3D. Presentiamo CAT3D, un metodo per creare qualsiasi cosa in 3D simulando questo processo di acquisizione del mondo reale con un modello di diffusione multi-vista. Dato un qualsiasi numero di immagini di input e un insieme di nuovi punti di vista target, il nostro modello genera nuove viste altamente consistenti di una scena. Queste viste generate possono essere utilizzate come input per tecniche robuste di ricostruzione 3D per produrre rappresentazioni 3D che possono essere renderizzate da qualsiasi punto di vista in tempo reale. CAT3D può creare intere scene 3D in appena un minuto e supera i metodi esistenti per la creazione di scene 3D da singola immagine o da poche viste. Visita la nostra pagina del progetto per i risultati e le demo interattive all'indirizzo https://cat3d.github.io.

English

Advances in 3D reconstruction have enabled high-quality 3D capture, but require a user to collect hundreds to thousands of images to create a 3D scene. We present CAT3D, a method for creating anything in 3D by simulating this real-world capture process with a multi-view diffusion model. Given any number of input images and a set of target novel viewpoints, our model generates highly consistent novel views of a scene. These generated views can be used as input to robust 3D reconstruction techniques to produce 3D representations that can be rendered from any viewpoint in real-time. CAT3D can create entire 3D scenes in as little as one minute, and outperforms existing methods for single image and few-view 3D scene creation. See our project page for results and interactive demos at https://cat3d.github.io .