One-2-3-45++: Generación rápida de objetos 3D a partir de una sola imagen con creación consistente de múltiples vistas y difusión 3D

One-2-3-45++: Fast Single Image to 3D Objects with Consistent Multi-View Generation and 3D Diffusion

November 14, 2023

Autores: Minghua Liu, Ruoxi Shi, Linghao Chen, Zhuoyang Zhang, Chao Xu, Xinyue Wei, Hansheng Chen, Chong Zeng, Jiayuan Gu, Hao Su

cs.AI

Resumen

Los recientes avances en la generación de objetos 3D en mundos abiertos han sido notables, con los métodos de imagen-a-3D ofreciendo un control fino superior en comparación con sus contrapartes de texto-a-3D. Sin embargo, la mayoría de los modelos existentes no logran proporcionar simultáneamente velocidades de generación rápidas y una alta fidelidad a las imágenes de entrada, dos características esenciales para aplicaciones prácticas. En este artículo, presentamos One-2-3-45++, un método innovador que transforma una sola imagen en una malla 3D texturizada y detallada en aproximadamente un minuto. Nuestro enfoque busca aprovechar al máximo el conocimiento extenso incorporado en los modelos de difusión 2D y los conocimientos previos de datos 3D valiosos pero limitados. Esto se logra ajustando inicialmente un modelo de difusión 2D para la generación consistente de imágenes multi-vista, seguido de la elevación de estas imágenes a 3D con la ayuda de modelos de difusión 3D nativos condicionados por múltiples vistas. Evaluaciones experimentales exhaustivas demuestran que nuestro método puede producir activos 3D de alta calidad y diversidad que reflejan de cerca la imagen de entrada original. Nuestra página web del proyecto: https://sudo-ai-3d.github.io/One2345plus_page.

English

Recent advancements in open-world 3D object generation have been remarkable, with image-to-3D methods offering superior fine-grained control over their text-to-3D counterparts. However, most existing models fall short in simultaneously providing rapid generation speeds and high fidelity to input images - two features essential for practical applications. In this paper, we present One-2-3-45++, an innovative method that transforms a single image into a detailed 3D textured mesh in approximately one minute. Our approach aims to fully harness the extensive knowledge embedded in 2D diffusion models and priors from valuable yet limited 3D data. This is achieved by initially finetuning a 2D diffusion model for consistent multi-view image generation, followed by elevating these images to 3D with the aid of multi-view conditioned 3D native diffusion models. Extensive experimental evaluations demonstrate that our method can produce high-quality, diverse 3D assets that closely mirror the original input image. Our project webpage: https://sudo-ai-3d.github.io/One2345plus_page.