ImageDream: Difusión Multi-vista Basada en Imágenes para la Generación 3D

ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation

December 2, 2023

Autores: Peng Wang, Yichun Shi

cs.AI

Resumen

Presentamos "ImageDream", un innovador modelo de difusión multi-vista basado en imágenes para la generación de objetos 3D. ImageDream destaca por su capacidad para producir modelos 3D de mayor calidad en comparación con los métodos actuales más avanzados condicionados por imágenes. Nuestro enfoque utiliza una coordinación de cámara canónica para los objetos en las imágenes, mejorando la precisión de la geometría visual. El modelo está diseñado con varios niveles de control en cada bloque dentro del modelo de difusión basado en la imagen de entrada, donde el control global define la disposición general del objeto y el control local ajusta los detalles de la imagen. La efectividad de ImageDream se demuestra a través de evaluaciones exhaustivas utilizando una lista de prompts estándar. Para más información, visite nuestra página del proyecto en https://Image-Dream.github.io.

English

We introduce "ImageDream," an innovative image-prompt, multi-view diffusion model for 3D object generation. ImageDream stands out for its ability to produce 3D models of higher quality compared to existing state-of-the-art, image-conditioned methods. Our approach utilizes a canonical camera coordination for the objects in images, improving visual geometry accuracy. The model is designed with various levels of control at each block inside the diffusion model based on the input image, where global control shapes the overall object layout and local control fine-tunes the image details. The effectiveness of ImageDream is demonstrated through extensive evaluations using a standard prompt list. For more information, visit our project page at https://Image-Dream.github.io.