CAT3D: Crear cualquier cosa en 3D con modelos de difusión multivista

Resumen

Los avances en reconstrucción 3D han permitido la captura de alta calidad, pero requieren que un usuario capture cientos o miles de imágenes para crear una escena 3D. Presentamos CAT3D, un método para crear cualquier cosa en 3D simulando este proceso de captura del mundo real mediante un modelo de difusión multivista. Dado cualquier número de imágenes de entrada y un conjunto de vistas novedosas objetivo, nuestro modelo genera vistas novedosas altamente consistentes de una escena. Estas vistas generadas pueden usarse como entrada para técnicas robustas de reconstrucción 3D, produciendo representaciones 3D que pueden renderizarse desde cualquier ángulo en tiempo real. CAT3D puede crear escenas 3D completas en tan solo un minuto, superando a los métodos existentes para la creación de escenas 3D a partir de una sola imagen o pocas vistas. Consulte nuestra página del proyecto para ver resultados y demostraciones interactivas en https://cat3d.github.io.

English

Advances in 3D reconstruction have enabled high-quality 3D capture, but require a user to collect hundreds to thousands of images to create a 3D scene. We present CAT3D, a method for creating anything in 3D by simulating this real-world capture process with a multi-view diffusion model. Given any number of input images and a set of target novel viewpoints, our model generates highly consistent novel views of a scene. These generated views can be used as input to robust 3D reconstruction techniques to produce 3D representations that can be rendered from any viewpoint in real-time. CAT3D can create entire 3D scenes in as little as one minute, and outperforms existing methods for single image and few-view 3D scene creation. See our project page for results and interactive demos at https://cat3d.github.io .

CAT3D: Crear cualquier cosa en 3D con modelos de difusión multivista

CAT3D: Create Anything in 3D with Multi-View Diffusion Models

Resumen

Support