MVDream : Diffusion multi-vues pour la génération 3D

MVDream: Multi-view Diffusion for 3D Generation

August 31, 2023

Auteurs: Yichun Shi, Peng Wang, Jianglong Ye, Mai Long, Kejie Li, Xiao Yang

cs.AI

Résumé

Nous proposons MVDream, un modèle de diffusion multi-vues capable de générer des images multi-vues géométriquement cohérentes à partir d'une invite textuelle donnée. En exploitant des modèles de diffusion d'images pré-entraînés sur des ensembles de données web à grande échelle et un ensemble de données multi-vues rendu à partir d'actifs 3D, le modèle de diffusion multi-vues résultant peut atteindre à la fois la généralisabilité de la diffusion 2D et la cohérence des données 3D. Un tel modèle peut ainsi être appliqué comme un a priori multi-vues pour la génération 3D via l'échantillonnage par distillation de score, où il améliore grandement la stabilité des méthodes existantes de relèvement 2D en résolvant le problème de cohérence 3D. Enfin, nous montrons que le modèle de diffusion multi-vues peut également être affiné dans un cadre à quelques exemples pour une génération 3D personnalisée, c'est-à-dire l'application DreamBooth3D, où la cohérence peut être maintenue après l'apprentissage de l'identité du sujet.

English

We propose MVDream, a multi-view diffusion model that is able to generate geometrically consistent multi-view images from a given text prompt. By leveraging image diffusion models pre-trained on large-scale web datasets and a multi-view dataset rendered from 3D assets, the resulting multi-view diffusion model can achieve both the generalizability of 2D diffusion and the consistency of 3D data. Such a model can thus be applied as a multi-view prior for 3D generation via Score Distillation Sampling, where it greatly improves the stability of existing 2D-lifting methods by solving the 3D consistency problem. Finally, we show that the multi-view diffusion model can also be fine-tuned under a few shot setting for personalized 3D generation, i.e. DreamBooth3D application, where the consistency can be maintained after learning the subject identity.