CAT3D: Crie Qualquer Coisa em 3D com Modelos de Difusão Multi-View
CAT3D: Create Anything in 3D with Multi-View Diffusion Models
May 16, 2024
Autores: Ruiqi Gao, Aleksander Holynski, Philipp Henzler, Arthur Brussee, Ricardo Martin-Brualla, Pratul Srinivasan, Jonathan T. Barron, Ben Poole
cs.AI
Resumo
Os avanços na reconstrução 3D permitiram a captura de alta qualidade em 3D, mas exigem que um usuário colete centenas a milhares de imagens para criar uma cena 3D. Apresentamos o CAT3D, um método para criar qualquer coisa em 3D simulando esse processo de captura do mundo real com um modelo de difusão multi-visão. Dado qualquer número de imagens de entrada e um conjunto de novos pontos de vista alvo, nosso modelo gera visões altamente consistentes de uma cena. Essas visões geradas podem ser usadas como entrada para técnicas robustas de reconstrução 3D, produzindo representações 3D que podem ser renderizadas de qualquer ponto de vista em tempo real. O CAT3D pode criar cenas 3D inteiras em apenas um minuto e supera os métodos existentes para criação de cenas 3D a partir de uma única imagem ou poucas visões. Veja os resultados e demonstrações interativas em nossa página do projeto em https://cat3d.github.io.
English
Advances in 3D reconstruction have enabled high-quality 3D capture, but
require a user to collect hundreds to thousands of images to create a 3D scene.
We present CAT3D, a method for creating anything in 3D by simulating this
real-world capture process with a multi-view diffusion model. Given any number
of input images and a set of target novel viewpoints, our model generates
highly consistent novel views of a scene. These generated views can be used as
input to robust 3D reconstruction techniques to produce 3D representations that
can be rendered from any viewpoint in real-time. CAT3D can create entire 3D
scenes in as little as one minute, and outperforms existing methods for single
image and few-view 3D scene creation. See our project page for results and
interactive demos at https://cat3d.github.io .