SteinDreamer: Redução de Variância para a Destilação de Pontuação de Texto para 3D via Identidade de Stein

SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via Stein Identity

December 31, 2023

Autores: Peihao Wang, Zhiwen Fan, Dejia Xu, Dilin Wang, Sreyas Mohan, Forrest Iandola, Rakesh Ranjan, Yilei Li, Qiang Liu, Zhangyang Wang, Vikas Chandra

cs.AI

Resumo

A destilação de escores emergiu como uma das abordagens mais prevalentes para a síntese de ativos 3D a partir de texto. Essencialmente, a destilação de escores atualiza parâmetros 3D ao elevar e retropropagar escores médios calculados sobre diferentes vistas. Neste artigo, revelamos que a estimativa de gradiente na destilação de escores é inerentemente de alta variância. Através da lente da redução de variância, a eficácia de SDS e VSD pode ser interpretada como aplicações de vários variáveis de controle ao estimador de Monte Carlo do escore destilado. Motivados por essa reinterpretação e com base na identidade de Stein, propomos uma solução mais geral para reduzir a variância na destilação de escores, denominada Destilação de Escore de Stein (SSD). A SSD incorpora variáveis de controle construídas pela identidade de Stein, permitindo funções de base arbitrárias. Isso nos possibilita incluir priores de orientação flexíveis e arquiteturas de rede para otimizar explicitamente a redução de variância. Em nossos experimentos, o pipeline geral, chamado SteinDreamer, é implementado ao instanciar a variável de controle com um estimador de profundidade monocular. Os resultados sugerem que a SSD pode efetivamente reduzir a variância da destilação e consistentemente melhorar a qualidade visual tanto para geração em nível de objeto quanto de cena. Além disso, demonstramos que o SteinDreamer alcança convergência mais rápida do que os métodos existentes devido a atualizações de gradiente mais estáveis.

English

Score distillation has emerged as one of the most prevalent approaches for text-to-3D asset synthesis. Essentially, score distillation updates 3D parameters by lifting and back-propagating scores averaged over different views. In this paper, we reveal that the gradient estimation in score distillation is inherent to high variance. Through the lens of variance reduction, the effectiveness of SDS and VSD can be interpreted as applications of various control variates to the Monte Carlo estimator of the distilled score. Motivated by this rethinking and based on Stein's identity, we propose a more general solution to reduce variance for score distillation, termed Stein Score Distillation (SSD). SSD incorporates control variates constructed by Stein identity, allowing for arbitrary baseline functions. This enables us to include flexible guidance priors and network architectures to explicitly optimize for variance reduction. In our experiments, the overall pipeline, dubbed SteinDreamer, is implemented by instantiating the control variate with a monocular depth estimator. The results suggest that SSD can effectively reduce the distillation variance and consistently improve visual quality for both object- and scene-level generation. Moreover, we demonstrate that SteinDreamer achieves faster convergence than existing methods due to more stable gradient updates.