SteinDreamer: Variantiereductie voor tekst-naar-3D score-distillatie via Stein-identiteit

SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via Stein Identity

December 31, 2023

Auteurs: Peihao Wang, Zhiwen Fan, Dejia Xu, Dilin Wang, Sreyas Mohan, Forrest Iandola, Rakesh Ranjan, Yilei Li, Qiang Liu, Zhangyang Wang, Vikas Chandra

cs.AI

Samenvatting

Score-distillatie is naar voren gekomen als een van de meest voorkomende benaderingen voor tekst-naar-3D-asset-synthese. In essentie werkt score-distillatie door 3D-parameters bij te werken door scores die gemiddeld zijn over verschillende aanzichten te liften en terug te propageren. In dit artikel laten we zien dat de schattingsgradiënt in score-distillatie inherent is aan een hoge variantie. Door de lens van variantiereductie kan de effectiviteit van SDS en VSD worden geïnterpreteerd als toepassingen van verschillende controle-variabelen op de Monte Carlo-schatter van de gedistilleerde score. Gemotiveerd door deze herziening en gebaseerd op Stein's identiteit, stellen we een meer algemene oplossing voor om de variantie voor score-distillatie te verminderen, genaamd Stein Score Distillatie (SSD). SSD integreert controle-variabelen die zijn geconstrueerd met Stein's identiteit, waardoor willekeurige basislijnfuncties mogelijk zijn. Dit stelt ons in staat om flexibele begeleidingsprioriteiten en netwerkarchitecturen op te nemen om expliciet te optimaliseren voor variantiereductie. In onze experimenten wordt de algehele pipeline, genaamd SteinDreamer, geïmplementeerd door de controle-variabele te instantiëren met een monocular diepteschatter. De resultaten suggereren dat SSD effectief de distillatievariantie kan verminderen en consistent de visuele kwaliteit verbetert voor zowel object- als scèneniveau-generatie. Bovendien tonen we aan dat SteinDreamer snellere convergentie bereikt dan bestaande methoden dankzij stabielere gradiëntupdates.

English

Score distillation has emerged as one of the most prevalent approaches for text-to-3D asset synthesis. Essentially, score distillation updates 3D parameters by lifting and back-propagating scores averaged over different views. In this paper, we reveal that the gradient estimation in score distillation is inherent to high variance. Through the lens of variance reduction, the effectiveness of SDS and VSD can be interpreted as applications of various control variates to the Monte Carlo estimator of the distilled score. Motivated by this rethinking and based on Stein's identity, we propose a more general solution to reduce variance for score distillation, termed Stein Score Distillation (SSD). SSD incorporates control variates constructed by Stein identity, allowing for arbitrary baseline functions. This enables us to include flexible guidance priors and network architectures to explicitly optimize for variance reduction. In our experiments, the overall pipeline, dubbed SteinDreamer, is implemented by instantiating the control variate with a monocular depth estimator. The results suggest that SSD can effectively reduce the distillation variance and consistently improve visual quality for both object- and scene-level generation. Moreover, we demonstrate that SteinDreamer achieves faster convergence than existing methods due to more stable gradient updates.