DreamPolish: Сжатие оценки домена с прогрессивной генерацией геометрии

DreamPolish: Domain Score Distillation With Progressive Geometry Generation

November 3, 2024

Авторы: Yean Cheng, Ziqi Cai, Ming Ding, Wendi Zheng, Shiyu Huang, Yuxiao Dong, Jie Tang, Boxin Shi

cs.AI

Аннотация

Мы представляем DreamPolish, модель генерации текста в 3D, которая отличается в создании изысканной геометрии и текстур высокого качества. На этапе построения геометрии наш подход использует несколько нейронных представлений для улучшения стабильности процесса синтеза. Вместо полного полагания на диффузионный априори, зависящий от вида, в новых выборочных видах, что часто приводит к нежелательным артефактам на геометрической поверхности, мы включаем дополнительный оценщик нормалей для отделки деталей геометрии, зависящий от точек зрения с различными углами обзора. Мы предлагаем добавить этап отделки поверхности с небольшим количеством обучающих шагов, который может эффективно улучшить артефакты, обусловленные ограниченным руководством предыдущих этапов, и создавать 3D-объекты с более желательной геометрией. Основная тема генерации текстуры с использованием предварительно обученных моделей текст-изображение заключается в поиске подходящей области в обширном латентном распределении этих моделей, содержащей фотореалистичные и последовательные рендеринги. На этапе генерации текстуры мы вводим новую цель дистилляции оценки, а именно дистилляцию оценки области (DSD), чтобы направлять нейронные представления к такой области. Мы черпаем вдохновение из руководства без классификатора (CFG) в задачах генерации изображений, зависящих от текста, и показываем, что CFG и руководство вариационным распределением представляют различные аспекты в руководстве градиентами и являются обеими неотъемлемыми областями для улучшения качества текстуры. Обширные эксперименты показывают, что наша предложенная модель способна создавать 3D-объекты с отполированными поверхностями и фотореалистичными текстурами, превосходя существующие передовые методы.

English

We introduce DreamPolish, a text-to-3D generation model that excels in producing refined geometry and high-quality textures. In the geometry construction phase, our approach leverages multiple neural representations to enhance the stability of the synthesis process. Instead of relying solely on a view-conditioned diffusion prior in the novel sampled views, which often leads to undesired artifacts in the geometric surface, we incorporate an additional normal estimator to polish the geometry details, conditioned on viewpoints with varying field-of-views. We propose to add a surface polishing stage with only a few training steps, which can effectively refine the artifacts attributed to limited guidance from previous stages and produce 3D objects with more desirable geometry. The key topic of texture generation using pretrained text-to-image models is to find a suitable domain in the vast latent distribution of these models that contains photorealistic and consistent renderings. In the texture generation phase, we introduce a novel score distillation objective, namely domain score distillation (DSD), to guide neural representations toward such a domain. We draw inspiration from the classifier-free guidance (CFG) in textconditioned image generation tasks and show that CFG and variational distribution guidance represent distinct aspects in gradient guidance and are both imperative domains for the enhancement of texture quality. Extensive experiments show our proposed model can produce 3D assets with polished surfaces and photorealistic textures, outperforming existing state-of-the-art methods.