ProlificDreamer: Высококачественное и разнообразное преобразование текста в 3D с использованием вариационного дистилляции оценок

ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation

May 25, 2023

Авторы: Zhengyi Wang, Cheng Lu, Yikai Wang, Fan Bao, Chongxuan Li, Hang Su, Jun Zhu

cs.AI

Аннотация

Метод Score Distillation Sampling (SDS) продемонстрировал значительный потенциал в генерации 3D-моделей из текста, используя предобученные крупномасштабные диффузионные модели для текста в изображения, однако страдает от проблем избыточного насыщения, излишнего сглаживания и низкого разнообразия. В данной работе мы предлагаем моделировать 3D-параметр как случайную переменную вместо константы, как это делается в SDS, и представляем Variational Score Distillation (VSD) — принципиальный вариационный фреймворк на основе частиц, который объясняет и решает упомянутые проблемы в генерации 3D-моделей из текста. Мы показываем, что SDS является частным случаем VSD и приводит к низкокачественным результатам как при малых, так и при больших весах CFG. В отличие от этого, VSD хорошо работает с различными весами CFG, подобно ancestral sampling в диффузионных моделях, и одновременно улучшает разнообразие и качество результатов при стандартном весе CFG (например, 7.5). Мы также предлагаем различные улучшения в области проектирования для генерации 3D-моделей из текста, такие как расписание времени дистилляции и инициализация плотности, которые ортогональны алгоритму дистилляции, но недостаточно изучены. Наш общий подход, названный ProlificDreamer, способен генерировать NeRF с высоким разрешением рендеринга (например, 512×512) и высокой точностью, богатой структурой и сложными эффектами (например, дым и капли). Кроме того, меши, доработанные с помощью VSD и инициализированные из NeRF, отличаются тщательной детализацией и фотореалистичностью. Страница проекта: https://ml.cs.tsinghua.edu.cn/prolificdreamer/

English

Score distillation sampling (SDS) has shown great promise in text-to-3D generation by distilling pretrained large-scale text-to-image diffusion models, but suffers from over-saturation, over-smoothing, and low-diversity problems. In this work, we propose to model the 3D parameter as a random variable instead of a constant as in SDS and present variational score distillation (VSD), a principled particle-based variational framework to explain and address the aforementioned issues in text-to-3D generation. We show that SDS is a special case of VSD and leads to poor samples with both small and large CFG weights. In comparison, VSD works well with various CFG weights as ancestral sampling from diffusion models and simultaneously improves the diversity and sample quality with a common CFG weight (i.e., 7.5). We further present various improvements in the design space for text-to-3D such as distillation time schedule and density initialization, which are orthogonal to the distillation algorithm yet not well explored. Our overall approach, dubbed ProlificDreamer, can generate high rendering resolution (i.e., 512times512) and high-fidelity NeRF with rich structure and complex effects (e.g., smoke and drops). Further, initialized from NeRF, meshes fine-tuned by VSD are meticulously detailed and photo-realistic. Project page: https://ml.cs.tsinghua.edu.cn/prolificdreamer/