SteinDreamer: Снижение дисперсии для дистилляции оценок из текста в 3D с использованием тождества Стейна

SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via Stein Identity

December 31, 2023

Авторы: Peihao Wang, Zhiwen Fan, Dejia Xu, Dilin Wang, Sreyas Mohan, Forrest Iandola, Rakesh Ranjan, Yilei Li, Qiang Liu, Zhangyang Wang, Vikas Chandra

cs.AI

Аннотация

Дистилляция оценок стала одним из наиболее распространенных подходов для синтеза 3D-ассетов из текста. По сути, дистилляция оценок обновляет параметры 3D-моделей путем поднятия и обратного распространения оценок, усредненных по различным ракурсам. В данной работе мы показываем, что оценка градиента в дистилляции оценок изначально подвержена высокой дисперсии. Через призму уменьшения дисперсии эффективность методов SDS и VSD можно интерпретировать как применение различных контрольных переменных к оценке Монте-Карло для дистиллированной оценки. Вдохновленные этим переосмыслением и основываясь на тождестве Стейна, мы предлагаем более общее решение для уменьшения дисперсии в дистилляции оценок, названное Stein Score Distillation (SSD). SSD включает контрольные переменные, построенные с использованием тождества Стейна, что позволяет использовать произвольные базовые функции. Это дает возможность включать гибкие априорные знания и архитектуры сетей для явной оптимизации с целью уменьшения дисперсии. В наших экспериментах общий конвейер, названный SteinDreamer, реализован путем использования контрольной переменной на основе монохромного оценщика глубины. Результаты показывают, что SSD эффективно снижает дисперсию дистилляции и последовательно улучшает визуальное качество как для генерации объектов, так и для сцен. Более того, мы демонстрируем, что SteinDreamer достигает более быстрой сходимости по сравнению с существующими методами благодаря более стабильным обновлениям градиента.

English

Score distillation has emerged as one of the most prevalent approaches for text-to-3D asset synthesis. Essentially, score distillation updates 3D parameters by lifting and back-propagating scores averaged over different views. In this paper, we reveal that the gradient estimation in score distillation is inherent to high variance. Through the lens of variance reduction, the effectiveness of SDS and VSD can be interpreted as applications of various control variates to the Monte Carlo estimator of the distilled score. Motivated by this rethinking and based on Stein's identity, we propose a more general solution to reduce variance for score distillation, termed Stein Score Distillation (SSD). SSD incorporates control variates constructed by Stein identity, allowing for arbitrary baseline functions. This enables us to include flexible guidance priors and network architectures to explicitly optimize for variance reduction. In our experiments, the overall pipeline, dubbed SteinDreamer, is implemented by instantiating the control variate with a monocular depth estimator. The results suggest that SSD can effectively reduce the distillation variance and consistently improve visual quality for both object- and scene-level generation. Moreover, we demonstrate that SteinDreamer achieves faster convergence than existing methods due to more stable gradient updates.