ProlificDreamer: Hochauflösende und vielfältige Text-zu-3D-Generierung mit Variational Score Distillation

ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation

May 25, 2023

Autoren: Zhengyi Wang, Cheng Lu, Yikai Wang, Fan Bao, Chongxuan Li, Hang Su, Jun Zhu

cs.AI

Zusammenfassung

Score Distillation Sampling (SDS) hat großes Potenzial in der Text-zu-3D-Generierung gezeigt, indem vortrainierte großskalige Text-zu-Bild-Diffusionsmodelle destilliert werden, leidet jedoch unter Problemen wie Übersättigung, Überschmierung und geringer Diversität. In dieser Arbeit schlagen wir vor, den 3D-Parameter als Zufallsvariable anstelle einer Konstanten wie in SDS zu modellieren und präsentieren Variational Score Distillation (VSD), ein prinzipielles, partikelbasiertes variationsbasiertes Framework, um die genannten Probleme in der Text-zu-3D-Generierung zu erklären und zu adressieren. Wir zeigen, dass SDS ein Spezialfall von VSD ist und zu schlechten Ergebnissen sowohl bei kleinen als auch bei großen CFG-Gewichten führt. Im Vergleich dazu funktioniert VSD gut mit verschiedenen CFG-Gewichten, ähnlich dem ancestral sampling aus Diffusionsmodellen, und verbessert gleichzeitig die Diversität und die Probenqualität bei einem gemeinsamen CFG-Gewicht (d.h. 7,5). Wir präsentieren weiterhin verschiedene Verbesserungen im Designraum für Text-zu-3D, wie z.B. den Destillationszeitplan und die Dichteinitialisierung, die orthogonal zum Destillationsalgorithmus stehen und bisher nicht gut erforscht wurden. Unser Gesamtansatz, genannt ProlificDreamer, kann hochauflösende Renderings (d.h. 512×512) und hochwertige NeRF mit reicher Struktur und komplexen Effekten (z.B. Rauch und Tropfen) erzeugen. Darüber hinaus sind, ausgehend von NeRF, durch VSD feinabgestimmte Meshes detailliert und fotorealistisch. Projektseite: https://ml.cs.tsinghua.edu.cn/prolificdreamer/

English

Score distillation sampling (SDS) has shown great promise in text-to-3D generation by distilling pretrained large-scale text-to-image diffusion models, but suffers from over-saturation, over-smoothing, and low-diversity problems. In this work, we propose to model the 3D parameter as a random variable instead of a constant as in SDS and present variational score distillation (VSD), a principled particle-based variational framework to explain and address the aforementioned issues in text-to-3D generation. We show that SDS is a special case of VSD and leads to poor samples with both small and large CFG weights. In comparison, VSD works well with various CFG weights as ancestral sampling from diffusion models and simultaneously improves the diversity and sample quality with a common CFG weight (i.e., 7.5). We further present various improvements in the design space for text-to-3D such as distillation time schedule and density initialization, which are orthogonal to the distillation algorithm yet not well explored. Our overall approach, dubbed ProlificDreamer, can generate high rendering resolution (i.e., 512times512) and high-fidelity NeRF with rich structure and complex effects (e.g., smoke and drops). Further, initialized from NeRF, meshes fine-tuned by VSD are meticulously detailed and photo-realistic. Project page: https://ml.cs.tsinghua.edu.cn/prolificdreamer/