SteinDreamer: Reducción de la Varianza para la Distilación de Puntuaciones de Texto a 3D mediante la Identidad de Stein

SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via Stein Identity

December 31, 2023

Autores: Peihao Wang, Zhiwen Fan, Dejia Xu, Dilin Wang, Sreyas Mohan, Forrest Iandola, Rakesh Ranjan, Yilei Li, Qiang Liu, Zhangyang Wang, Vikas Chandra

cs.AI

Resumen

La destilación de puntuaciones ha surgido como uno de los enfoques más prevalentes para la síntesis de activos 3D a partir de texto. Esencialmente, la destilación de puntuaciones actualiza los parámetros 3D elevando y propagando hacia atrás puntuaciones promediadas sobre diferentes vistas. En este artículo, revelamos que la estimación del gradiente en la destilación de puntuaciones es inherentemente de alta varianza. A través de la lente de la reducción de varianza, la efectividad de SDS y VSD puede interpretarse como aplicaciones de varios variados de control al estimador de Monte Carlo de la puntuación destilada. Motivados por esta reconsideración y basándonos en la identidad de Stein, proponemos una solución más general para reducir la varianza en la destilación de puntuaciones, denominada Destilación de Puntuaciones de Stein (SSD). SSD incorpora variados de control construidos mediante la identidad de Stein, permitiendo funciones de línea base arbitrarias. Esto nos permite incluir guías previas flexibles y arquitecturas de red para optimizar explícitamente la reducción de varianza. En nuestros experimentos, la pipeline general, denominada SteinDreamer, se implementa instanciando el variado de control con un estimador de profundidad monocular. Los resultados sugieren que SSD puede reducir efectivamente la varianza de destilación y mejorar consistentemente la calidad visual tanto para la generación a nivel de objeto como de escena. Además, demostramos que SteinDreamer logra una convergencia más rápida que los métodos existentes debido a actualizaciones de gradiente más estables.

English

Score distillation has emerged as one of the most prevalent approaches for text-to-3D asset synthesis. Essentially, score distillation updates 3D parameters by lifting and back-propagating scores averaged over different views. In this paper, we reveal that the gradient estimation in score distillation is inherent to high variance. Through the lens of variance reduction, the effectiveness of SDS and VSD can be interpreted as applications of various control variates to the Monte Carlo estimator of the distilled score. Motivated by this rethinking and based on Stein's identity, we propose a more general solution to reduce variance for score distillation, termed Stein Score Distillation (SSD). SSD incorporates control variates constructed by Stein identity, allowing for arbitrary baseline functions. This enables us to include flexible guidance priors and network architectures to explicitly optimize for variance reduction. In our experiments, the overall pipeline, dubbed SteinDreamer, is implemented by instantiating the control variate with a monocular depth estimator. The results suggest that SSD can effectively reduce the distillation variance and consistently improve visual quality for both object- and scene-level generation. Moreover, we demonstrate that SteinDreamer achieves faster convergence than existing methods due to more stable gradient updates.