ImageDream: Beeldgestuurde Multi-view Diffusie voor 3D-generatie
ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation
December 2, 2023
Auteurs: Peng Wang, Yichun Shi
cs.AI
Samenvatting
We introduceren "ImageDream," een innovatief beeldprompt, multi-view diffusiemodel voor 3D-objectgeneratie. ImageDream onderscheidt zich door zijn vermogen om 3D-modellen van hogere kwaliteit te produceren in vergelijking met bestaande state-of-the-art, beeldgeconditioneerde methoden. Onze aanpak maakt gebruik van een canonieke cameracoördinatie voor de objecten in beelden, wat de nauwkeurigheid van de visuele geometrie verbetert. Het model is ontworpen met verschillende niveaus van controle in elk blok binnen het diffusiemodel op basis van het invoerbeeld, waarbij globale controle de algehele objectlay-out vormgeeft en lokale controle de beelddetails verfijnt. De effectiviteit van ImageDream wordt aangetoond door middel van uitgebreide evaluaties met behulp van een standaard promptlijst. Voor meer informatie bezoek onze projectpagina op https://Image-Dream.github.io.
English
We introduce "ImageDream," an innovative image-prompt, multi-view diffusion
model for 3D object generation. ImageDream stands out for its ability to
produce 3D models of higher quality compared to existing state-of-the-art,
image-conditioned methods. Our approach utilizes a canonical camera
coordination for the objects in images, improving visual geometry accuracy. The
model is designed with various levels of control at each block inside the
diffusion model based on the input image, where global control shapes the
overall object layout and local control fine-tunes the image details. The
effectiveness of ImageDream is demonstrated through extensive evaluations using
a standard prompt list. For more information, visit our project page at
https://Image-Dream.github.io.