One-2-3-45: Cualquier imagen única a malla 3D en 45 segundos sin optimización por forma individual

Resumen

La reconstrucción 3D a partir de una sola imagen es una tarea importante pero desafiante que requiere un amplio conocimiento de nuestro mundo natural. Muchos métodos existentes abordan este problema optimizando un campo de radiancia neuronal bajo la guía de modelos de difusión 2D, pero sufren de tiempos de optimización prolongados, resultados inconsistentes en 3D y geometrías deficientes. En este trabajo, proponemos un método novedoso que toma una sola imagen de cualquier objeto como entrada y genera una malla 3D texturizada de 360 grados en un único paso de avance. Dada una sola imagen, primero utilizamos un modelo de difusión 2D condicionado por la vista, Zero123, para generar imágenes multivista para la vista de entrada, y luego buscamos elevarlas al espacio 3D. Dado que los métodos tradicionales de reconstrucción tienen dificultades con predicciones multivista inconsistentes, construimos nuestro módulo de reconstrucción 3D sobre un método de reconstrucción de superficie neuronal generalizable basado en SDF y proponemos varias estrategias de entrenamiento críticas para permitir la reconstrucción de mallas de 360 grados. Sin optimizaciones costosas, nuestro método reconstruye formas 3D en un tiempo significativamente menor que los métodos existentes. Además, nuestro método favorece una mejor geometría, genera resultados más consistentes en 3D y se adhiere más estrechamente a la imagen de entrada. Evaluamos nuestro enfoque tanto en datos sintéticos como en imágenes del mundo real y demostramos su superioridad en términos de calidad de malla y tiempo de ejecución. Además, nuestro enfoque puede integrarse sin problemas con modelos de difusión de texto a imagen disponibles para apoyar la tarea de texto a 3D.

English

Single image 3D reconstruction is an important but challenging task that requires extensive knowledge of our natural world. Many existing methods solve this problem by optimizing a neural radiance field under the guidance of 2D diffusion models but suffer from lengthy optimization time, 3D inconsistency results, and poor geometry. In this work, we propose a novel method that takes a single image of any object as input and generates a full 360-degree 3D textured mesh in a single feed-forward pass. Given a single image, we first use a view-conditioned 2D diffusion model, Zero123, to generate multi-view images for the input view, and then aim to lift them up to 3D space. Since traditional reconstruction methods struggle with inconsistent multi-view predictions, we build our 3D reconstruction module upon an SDF-based generalizable neural surface reconstruction method and propose several critical training strategies to enable the reconstruction of 360-degree meshes. Without costly optimizations, our method reconstructs 3D shapes in significantly less time than existing methods. Moreover, our method favors better geometry, generates more 3D consistent results, and adheres more closely to the input image. We evaluate our approach on both synthetic data and in-the-wild images and demonstrate its superiority in terms of both mesh quality and runtime. In addition, our approach can seamlessly support the text-to-3D task by integrating with off-the-shelf text-to-image diffusion models.

One-2-3-45: Cualquier imagen única a malla 3D en 45 segundos sin optimización por forma individual

One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization

Resumen

Support