DreamCraft3D : Génération hiérarchique 3D avec prior de diffusion bootstrapé

DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

October 25, 2023

Auteurs: Jingxiang Sun, Bo Zhang, Ruizhi Shao, Lizhen Wang, Wen Liu, Zhenda Xie, Yebin Liu

cs.AI

Résumé

Nous présentons DreamCraft3D, une méthode hiérarchique de génération de contenu 3D qui produit des objets 3D de haute fidélité et cohérents. Nous abordons ce problème en exploitant une image de référence 2D pour guider les étapes de sculpture de la géométrie et d'amélioration de la texture. Un point central de ce travail est de résoudre le problème de cohérence rencontré par les méthodes existantes. Pour sculpter des géométries qui se rendent de manière cohérente, nous effectuons un échantillonnage par distillation de score via un modèle de diffusion dépendant de la vue. Ce préalable 3D, accompagné de plusieurs stratégies d'entraînement, priorise la cohérence géométrique mais compromet la fidélité de la texture. Nous proposons en outre une Distillation de Score par Amorçage pour spécifiquement améliorer la texture. Nous entraînons un modèle de diffusion personnalisé, Dreambooth, sur les rendus augmentés de la scène, lui conférant une connaissance 3D de la scène en cours d'optimisation. La distillation de score à partir de ce préalable de diffusion conscient de la 3D fournit un guidage cohérent en vue pour la scène. Notamment, grâce à une optimisation alternée du préalable de diffusion et de la représentation 3D de la scène, nous obtenons des améliorations mutuellement renforcées : la scène 3D optimisée aide à entraîner le modèle de diffusion spécifique à la scène, qui offre un guidage de plus en plus cohérent en vue pour l'optimisation 3D. L'optimisation est ainsi amorcée et conduit à une amélioration substantielle de la texture. Avec des préalables 3D adaptés tout au long de la génération hiérarchique, DreamCraft3D génère des objets 3D cohérents avec des rendus photoréalistes, faisant progresser l'état de l'art dans la génération de contenu 3D. Le code est disponible à l'adresse https://github.com/deepseek-ai/DreamCraft3D.

English

We present DreamCraft3D, a hierarchical 3D content generation method that produces high-fidelity and coherent 3D objects. We tackle the problem by leveraging a 2D reference image to guide the stages of geometry sculpting and texture boosting. A central focus of this work is to address the consistency issue that existing works encounter. To sculpt geometries that render coherently, we perform score distillation sampling via a view-dependent diffusion model. This 3D prior, alongside several training strategies, prioritizes the geometry consistency but compromises the texture fidelity. We further propose Bootstrapped Score Distillation to specifically boost the texture. We train a personalized diffusion model, Dreambooth, on the augmented renderings of the scene, imbuing it with 3D knowledge of the scene being optimized. The score distillation from this 3D-aware diffusion prior provides view-consistent guidance for the scene. Notably, through an alternating optimization of the diffusion prior and 3D scene representation, we achieve mutually reinforcing improvements: the optimized 3D scene aids in training the scene-specific diffusion model, which offers increasingly view-consistent guidance for 3D optimization. The optimization is thus bootstrapped and leads to substantial texture boosting. With tailored 3D priors throughout the hierarchical generation, DreamCraft3D generates coherent 3D objects with photorealistic renderings, advancing the state-of-the-art in 3D content generation. Code available at https://github.com/deepseek-ai/DreamCraft3D.