DreamCraft3D: Иерархическая генерация 3D с использованием бутстраппированного диффузионного априори

DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

October 25, 2023

Авторы: Jingxiang Sun, Bo Zhang, Ruizhi Shao, Lizhen Wang, Wen Liu, Zhenda Xie, Yebin Liu

cs.AI

Аннотация

Мы представляем DreamCraft3D, иерархический метод генерации 3D-контента, который создает высококачественные и согласованные 3D-объекты. Мы решаем эту задачу, используя 2D-референсное изображение для управления этапами моделирования геометрии и улучшения текстур. Основное внимание в этой работе уделено решению проблемы согласованности, с которой сталкиваются существующие методы. Для создания геометрии, которая визуализируется согласованно, мы применяем метод сэмплирования с дистилляцией оценок через зависящую от вида диффузионную модель. Этот 3D-приоритет, наряду с несколькими стратегиями обучения, обеспечивает согласованность геометрии, но снижает точность текстур. Мы дополнительно предлагаем метод Bootstrapped Score Distillation, специально направленный на улучшение текстур. Мы обучаем персонализированную диффузионную модель Dreambooth на расширенных рендерах сцены, наделяя ее 3D-знаниями о сцене, которая оптимизируется. Дистилляция оценок из этой 3D-осведомленной диффузионной модели обеспечивает согласованное по видам руководство для сцены. Примечательно, что благодаря чередующейся оптимизации диффузионного приоритета и 3D-представления сцены мы достигаем взаимно усиливающихся улучшений: оптимизированная 3D-сцена способствует обучению специфичной для сцены диффузионной модели, которая, в свою очередь, предоставляет все более согласованное по видам руководство для 3D-оптимизации. Таким образом, оптимизация становится самоподдерживающейся и приводит к значительному улучшению текстур. Благодаря адаптированным 3D-приоритетам на всех этапах иерархической генерации, DreamCraft3D создает согласованные 3D-объекты с фотореалистичными рендерами, продвигая состояние дел в области генерации 3D-контента. Код доступен по адресу https://github.com/deepseek-ai/DreamCraft3D.

English

We present DreamCraft3D, a hierarchical 3D content generation method that produces high-fidelity and coherent 3D objects. We tackle the problem by leveraging a 2D reference image to guide the stages of geometry sculpting and texture boosting. A central focus of this work is to address the consistency issue that existing works encounter. To sculpt geometries that render coherently, we perform score distillation sampling via a view-dependent diffusion model. This 3D prior, alongside several training strategies, prioritizes the geometry consistency but compromises the texture fidelity. We further propose Bootstrapped Score Distillation to specifically boost the texture. We train a personalized diffusion model, Dreambooth, on the augmented renderings of the scene, imbuing it with 3D knowledge of the scene being optimized. The score distillation from this 3D-aware diffusion prior provides view-consistent guidance for the scene. Notably, through an alternating optimization of the diffusion prior and 3D scene representation, we achieve mutually reinforcing improvements: the optimized 3D scene aids in training the scene-specific diffusion model, which offers increasingly view-consistent guidance for 3D optimization. The optimization is thus bootstrapped and leads to substantial texture boosting. With tailored 3D priors throughout the hierarchical generation, DreamCraft3D generates coherent 3D objects with photorealistic renderings, advancing the state-of-the-art in 3D content generation. Code available at https://github.com/deepseek-ai/DreamCraft3D.