DreamCraft3D: Generazione Gerarchica 3D con Priorità Diffusa Avviata

DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

October 25, 2023

Autori: Jingxiang Sun, Bo Zhang, Ruizhi Shao, Lizhen Wang, Wen Liu, Zhenda Xie, Yebin Liu

cs.AI

Abstract

Presentiamo DreamCraft3D, un metodo gerarchico per la generazione di contenuti 3D che produce oggetti 3D ad alta fedeltà e coerenti. Affrontiamo il problema sfruttando un'immagine di riferimento 2D per guidare le fasi di modellazione della geometria e miglioramento della texture. Un focus centrale di questo lavoro è risolvere il problema di coerenza che incontrano i lavori esistenti. Per modellare geometrie che si rendano in modo coerente, eseguiamo il campionamento per distillazione del punteggio tramite un modello di diffusione dipendente dalla vista. Questo prior 3D, insieme a diverse strategie di addestramento, privilegia la coerenza della geometria ma compromette la fedeltà della texture. Proponiamo inoltre la Distillazione del Punteggio Bootstrapped per migliorare specificamente la texture. Addestriamo un modello di diffusione personalizzato, Dreambooth, sulle renderizzazioni aumentate della scena, dotandolo di conoscenza 3D della scena in ottimizzazione. La distillazione del punteggio da questo prior di diffusione consapevole del 3D fornisce una guida coerente con la vista per la scena. In particolare, attraverso un'ottimizzazione alternata del prior di diffusione e della rappresentazione della scena 3D, otteniamo miglioramenti che si rafforzano reciprocamente: la scena 3D ottimizzata aiuta ad addestrare il modello di diffusione specifico per la scena, che offre una guida sempre più coerente con la vista per l'ottimizzazione 3D. L'ottimizzazione è quindi bootstrappata e porta a un sostanziale miglioramento della texture. Con prior 3D personalizzati lungo tutta la generazione gerarchica, DreamCraft3D genera oggetti 3D coerenti con renderizzazioni fotorealistiche, avanzando lo stato dell'arte nella generazione di contenuti 3D. Codice disponibile su https://github.com/deepseek-ai/DreamCraft3D.

English

We present DreamCraft3D, a hierarchical 3D content generation method that produces high-fidelity and coherent 3D objects. We tackle the problem by leveraging a 2D reference image to guide the stages of geometry sculpting and texture boosting. A central focus of this work is to address the consistency issue that existing works encounter. To sculpt geometries that render coherently, we perform score distillation sampling via a view-dependent diffusion model. This 3D prior, alongside several training strategies, prioritizes the geometry consistency but compromises the texture fidelity. We further propose Bootstrapped Score Distillation to specifically boost the texture. We train a personalized diffusion model, Dreambooth, on the augmented renderings of the scene, imbuing it with 3D knowledge of the scene being optimized. The score distillation from this 3D-aware diffusion prior provides view-consistent guidance for the scene. Notably, through an alternating optimization of the diffusion prior and 3D scene representation, we achieve mutually reinforcing improvements: the optimized 3D scene aids in training the scene-specific diffusion model, which offers increasingly view-consistent guidance for 3D optimization. The optimization is thus bootstrapped and leads to substantial texture boosting. With tailored 3D priors throughout the hierarchical generation, DreamCraft3D generates coherent 3D objects with photorealistic renderings, advancing the state-of-the-art in 3D content generation. Code available at https://github.com/deepseek-ai/DreamCraft3D.