Customize-It-3D: Creación de modelos 3D de alta calidad a partir de una sola imagen utilizando un conocimiento previo específico del sujeto

Customize-It-3D: High-Quality 3D Creation from A Single Image Using Subject-Specific Knowledge Prior

December 15, 2023

Autores: Nan Huang, Ting Zhang, Yuhui Yuan, Dong Chen, Shanghang Zhang

cs.AI

Resumen

En este artículo, presentamos un enfoque novedoso de dos etapas que aprovecha al máximo la información proporcionada por la imagen de referencia para establecer un conocimiento previo personalizado en la generación de imagen a 3D. Mientras que los enfoques anteriores dependen principalmente de un prior de difusión general, que tiene dificultades para producir resultados consistentes con la imagen de referencia, proponemos un modelo de difusión específico para el sujeto y multimodal. Este modelo no solo ayuda a la optimización de NeRF al considerar el modo de sombreado para mejorar la geometría, sino que también refina la textura a partir de los resultados iniciales para lograr un acabado superior. Ambos aspectos contribuyen a alinear fielmente el contenido 3D con el sujeto. Experimentos exhaustivos demuestran la superioridad de nuestro método, Customize-It-3D, superando a trabajos anteriores por un margen considerable. Produce reconstrucciones fieles de 360 grados con una calidad visual impresionante, lo que lo hace adecuado para diversas aplicaciones, incluida la creación de texto a 3D.

English

In this paper, we present a novel two-stage approach that fully utilizes the information provided by the reference image to establish a customized knowledge prior for image-to-3D generation. While previous approaches primarily rely on a general diffusion prior, which struggles to yield consistent results with the reference image, we propose a subject-specific and multi-modal diffusion model. This model not only aids NeRF optimization by considering the shading mode for improved geometry but also enhances texture from the coarse results to achieve superior refinement. Both aspects contribute to faithfully aligning the 3D content with the subject. Extensive experiments showcase the superiority of our method, Customize-It-3D, outperforming previous works by a substantial margin. It produces faithful 360-degree reconstructions with impressive visual quality, making it well-suited for various applications, including text-to-3D creation.