SPAR3D: Reconstrucción Estable de Objetos 3D desde Imágenes Individuales con Conciencia de Puntos

SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images

January 8, 2025

Autores: Zixuan Huang, Mark Boss, Aaryaman Vasishta, James M. Rehg, Varun Jampani

cs.AI

Resumen

Estudiamos el problema de la reconstrucción tridimensional de objetos a partir de una sola imagen. Trabajos recientes han divergido en dos direcciones: modelado basado en regresión y modelado generativo. Los métodos de regresión infieren eficientemente las superficies visibles, pero tienen dificultades con las regiones ocultas. Los métodos generativos manejan mejor las regiones inciertas al modelar distribuciones, pero son computacionalmente costosos y la generación a menudo no se alinea correctamente con las superficies visibles. En este documento, presentamos SPAR3D, un enfoque novedoso de dos etapas que tiene como objetivo aprovechar lo mejor de ambas direcciones. La primera etapa de SPAR3D genera nubes de puntos 3D dispersas utilizando un modelo de difusión de puntos ligero, que tiene una velocidad de muestreo rápida. La segunda etapa utiliza tanto la nube de puntos muestreada como la imagen de entrada para crear mallas altamente detalladas. Nuestro diseño de dos etapas permite el modelado probabilístico de la tarea tridimensional a partir de una sola imagen, manteniendo una alta eficiencia computacional y una gran fidelidad en la salida. El uso de nubes de puntos como representación intermedia también permite ediciones interactivas por parte del usuario. Evaluado en conjuntos de datos diversos, SPAR3D demuestra un rendimiento superior a los métodos anteriores de vanguardia, con una velocidad de inferencia de 0.7 segundos. Página del proyecto con código y modelo: https://spar3d.github.io

English

We study the problem of single-image 3D object reconstruction. Recent works have diverged into two directions: regression-based modeling and generative modeling. Regression methods efficiently infer visible surfaces, but struggle with occluded regions. Generative methods handle uncertain regions better by modeling distributions, but are computationally expensive and the generation is often misaligned with visible surfaces. In this paper, we present SPAR3D, a novel two-stage approach aiming to take the best of both directions. The first stage of SPAR3D generates sparse 3D point clouds using a lightweight point diffusion model, which has a fast sampling speed. The second stage uses both the sampled point cloud and the input image to create highly detailed meshes. Our two-stage design enables probabilistic modeling of the ill-posed single-image 3D task while maintaining high computational efficiency and great output fidelity. Using point clouds as an intermediate representation further allows for interactive user edits. Evaluated on diverse datasets, SPAR3D demonstrates superior performance over previous state-of-the-art methods, at an inference speed of 0.7 seconds. Project page with code and model: https://spar3d.github.io