ImageDream: Bildgesteuerte Multi-Ansicht-Diffusion für 3D-Generierung
ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation
December 2, 2023
Autoren: Peng Wang, Yichun Shi
cs.AI
Zusammenfassung
Wir stellen „ImageDream“ vor, ein innovatives Bild-Prompt-Multi-View-Diffusionsmodell zur 3D-Objekterzeugung. ImageDream zeichnet sich durch seine Fähigkeit aus, 3D-Modelle von höherer Qualität im Vergleich zu bestehenden, bildbasierten State-of-the-Art-Methoden zu erzeugen. Unser Ansatz nutzt eine kanonische Kamerakoordination für die Objekte in den Bildern, was die Genauigkeit der visuellen Geometrie verbessert. Das Modell ist mit verschiedenen Kontrollebenen in jedem Block innerhalb des Diffusionsmodells basierend auf dem Eingabebild gestaltet, wobei die globale Kontrolle das Gesamtlayout des Objekts formt und die lokale Kontrolle die Bilddetails feinabstimmt. Die Wirksamkeit von ImageDream wird durch umfangreiche Evaluierungen anhand einer standardisierten Prompt-Liste demonstriert. Weitere Informationen finden Sie auf unserer Projektseite unter https://Image-Dream.github.io.
English
We introduce "ImageDream," an innovative image-prompt, multi-view diffusion
model for 3D object generation. ImageDream stands out for its ability to
produce 3D models of higher quality compared to existing state-of-the-art,
image-conditioned methods. Our approach utilizes a canonical camera
coordination for the objects in images, improving visual geometry accuracy. The
model is designed with various levels of control at each block inside the
diffusion model based on the input image, where global control shapes the
overall object layout and local control fine-tunes the image details. The
effectiveness of ImageDream is demonstrated through extensive evaluations using
a standard prompt list. For more information, visit our project page at
https://Image-Dream.github.io.