SteinDreamer: 스타인 항등식을 통한 텍스트-3D 점수 증류의 분산 감소

SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via Stein Identity

December 31, 2023

저자: Peihao Wang, Zhiwen Fan, Dejia Xu, Dilin Wang, Sreyas Mohan, Forrest Iandola, Rakesh Ranjan, Yilei Li, Qiang Liu, Zhangyang Wang, Vikas Chandra

cs.AI

초록

스코어 증류(Score Distillation)는 텍스트에서 3D 자산 합성으로 이어지는 가장 널리 사용되는 접근 방식 중 하나로 부상했습니다. 기본적으로, 스코어 증류는 다양한 뷰에서 평균화된 스코어를 리프팅하고 역전파함으로써 3D 파라미터를 업데이트합니다. 본 논문에서는 스코어 증류에서의 그래디언트 추정이 본질적으로 높은 분산을 내포하고 있음을 밝힙니다. 분산 감소의 관점에서, SDS와 VSD의 효과는 증류된 스코어의 몬테카를로 추정기에 다양한 제어 변수를 적용한 것으로 해석될 수 있습니다. 이러한 재고찰에 동기를 받아, 우리는 Stein의 정리를 기반으로 스코어 증류의 분산을 줄이기 위한 보다 일반적인 해결책을 제안합니다. 이를 Stein Score Distillation(SSD)이라 명명합니다. SSD는 Stein 정리에 의해 구성된 제어 변수를 통합하여 임의의 기준 함수를 허용합니다. 이를 통해 유연한 가이던스 사전 및 네트워크 아키텍처를 포함시켜 분산 감소를 명시적으로 최적화할 수 있습니다. 우리의 실험에서, SteinDreamer로 명명된 전체 파이프라인은 단안 깊이 추정기를 사용하여 제어 변수를 인스턴스화함으로써 구현되었습니다. 결과는 SSD가 증류 분산을 효과적으로 줄이고 객체 및 장면 수준 생성 모두에서 시각적 품질을 지속적으로 개선할 수 있음을 시사합니다. 또한, SteinDreamer가 더 안정적인 그래디언트 업데이트로 인해 기존 방법보다 더 빠른 수렴을 달성함을 보여줍니다.

English

Score distillation has emerged as one of the most prevalent approaches for text-to-3D asset synthesis. Essentially, score distillation updates 3D parameters by lifting and back-propagating scores averaged over different views. In this paper, we reveal that the gradient estimation in score distillation is inherent to high variance. Through the lens of variance reduction, the effectiveness of SDS and VSD can be interpreted as applications of various control variates to the Monte Carlo estimator of the distilled score. Motivated by this rethinking and based on Stein's identity, we propose a more general solution to reduce variance for score distillation, termed Stein Score Distillation (SSD). SSD incorporates control variates constructed by Stein identity, allowing for arbitrary baseline functions. This enables us to include flexible guidance priors and network architectures to explicitly optimize for variance reduction. In our experiments, the overall pipeline, dubbed SteinDreamer, is implemented by instantiating the control variate with a monocular depth estimator. The results suggest that SSD can effectively reduce the distillation variance and consistently improve visual quality for both object- and scene-level generation. Moreover, we demonstrate that SteinDreamer achieves faster convergence than existing methods due to more stable gradient updates.