MVDream: Multi-View-Diffusion für 3D-Generierung

MVDream: Multi-view Diffusion for 3D Generation

August 31, 2023

Autoren: Yichun Shi, Peng Wang, Jianglong Ye, Mai Long, Kejie Li, Xiao Yang

cs.AI

Zusammenfassung

Wir stellen MVDream vor, ein Multi-View-Diffusionsmodell, das in der Lage ist, geometrisch konsistente Multi-View-Bilder aus einem gegebenen Textprompt zu generieren. Durch die Nutzung von Bilddiffusionsmodellen, die auf groß angelegten Webdatensätzen vortrainiert wurden, sowie eines Multi-View-Datensatzes, der aus 3D-Assets gerendert wurde, kann das resultierende Multi-View-Diffusionsmodell sowohl die Generalisierbarkeit von 2D-Diffusion als auch die Konsistenz von 3D-Daten erreichen. Ein solches Modell kann somit als Multi-View-Prior für die 3D-Generierung mittels Score Distillation Sampling eingesetzt werden, wo es die Stabilität bestehender 2D-Lifting-Methoden erheblich verbessert, indem es das Problem der 3D-Konsistenz löst. Schließlich zeigen wir, dass das Multi-View-Diffusionsmodell auch im Few-Shot-Setting für die personalisierte 3D-Generierung feinabgestimmt werden kann, d.h. für die DreamBooth3D-Anwendung, wobei die Konsistenz nach dem Erlernen der Subjektidentität erhalten bleibt.

English

We propose MVDream, a multi-view diffusion model that is able to generate geometrically consistent multi-view images from a given text prompt. By leveraging image diffusion models pre-trained on large-scale web datasets and a multi-view dataset rendered from 3D assets, the resulting multi-view diffusion model can achieve both the generalizability of 2D diffusion and the consistency of 3D data. Such a model can thus be applied as a multi-view prior for 3D generation via Score Distillation Sampling, where it greatly improves the stability of existing 2D-lifting methods by solving the 3D consistency problem. Finally, we show that the multi-view diffusion model can also be fine-tuned under a few shot setting for personalized 3D generation, i.e. DreamBooth3D application, where the consistency can be maintained after learning the subject identity.