ImageDream: Diffusione Multi-vista con Prompt Immagine per la Generazione 3D
ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation
December 2, 2023
Autori: Peng Wang, Yichun Shi
cs.AI
Abstract
Presentiamo "ImageDream", un innovativo modello di diffusione multi-vista basato su prompt di immagini per la generazione di oggetti 3D. ImageDream si distingue per la sua capacità di produrre modelli 3D di qualità superiore rispetto ai metodi all'avanguardia esistenti condizionati da immagini. Il nostro approccio utilizza una coordinazione canonica della fotocamera per gli oggetti nelle immagini, migliorando l'accuratezza della geometria visiva. Il modello è progettato con vari livelli di controllo in ciascun blocco all'interno del modello di diffusione in base all'immagine di input, dove il controllo globale definisce il layout complessivo dell'oggetto e il controllo locale perfeziona i dettagli dell'immagine. L'efficacia di ImageDream è dimostrata attraverso valutazioni estensive utilizzando una lista di prompt standard. Per maggiori informazioni, visitate la nostra pagina del progetto all'indirizzo https://Image-Dream.github.io.
English
We introduce "ImageDream," an innovative image-prompt, multi-view diffusion
model for 3D object generation. ImageDream stands out for its ability to
produce 3D models of higher quality compared to existing state-of-the-art,
image-conditioned methods. Our approach utilizes a canonical camera
coordination for the objects in images, improving visual geometry accuracy. The
model is designed with various levels of control at each block inside the
diffusion model based on the input image, where global control shapes the
overall object layout and local control fine-tunes the image details. The
effectiveness of ImageDream is demonstrated through extensive evaluations using
a standard prompt list. For more information, visit our project page at
https://Image-Dream.github.io.