ImageDream : Diffusion multi-vues guidée par image pour la génération 3D

ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation

December 2, 2023

Auteurs: Peng Wang, Yichun Shi

cs.AI

Résumé

Nous présentons "ImageDream", un modèle de diffusion innovant à prompts d'images et multi-vues pour la génération d'objets 3D. ImageDream se distingue par sa capacité à produire des modèles 3D de qualité supérieure par rapport aux méthodes actuelles de pointe conditionnées par image. Notre approche utilise une coordination canonique de caméra pour les objets dans les images, améliorant la précision de la géométrie visuelle. Le modèle est conçu avec différents niveaux de contrôle à chaque bloc du modèle de diffusion en fonction de l'image d'entrée, où le contrôle global façonne la disposition générale de l'objet et le contrôle local affine les détails de l'image. L'efficacité d'ImageDream est démontrée par des évaluations approfondies utilisant une liste de prompts standard. Pour plus d'informations, visitez notre page de projet à l'adresse https://Image-Dream.github.io.

English

We introduce "ImageDream," an innovative image-prompt, multi-view diffusion model for 3D object generation. ImageDream stands out for its ability to produce 3D models of higher quality compared to existing state-of-the-art, image-conditioned methods. Our approach utilizes a canonical camera coordination for the objects in images, improving visual geometry accuracy. The model is designed with various levels of control at each block inside the diffusion model based on the input image, where global control shapes the overall object layout and local control fine-tunes the image details. The effectiveness of ImageDream is demonstrated through extensive evaluations using a standard prompt list. For more information, visit our project page at https://Image-Dream.github.io.