분류기 점수 증류를 활용한 텍스트-3D 변환

초록

텍스트-3D 생성은 최근 특히 사전 학습된 2D 확산 모델을 활용하는 Score Distillation Sampling(SDS) 기반 방법을 통해 큰 진전을 이루었습니다. Classifier-free guidance의 사용이 성공적인 최적화에 필수적이라는 점은 잘 알려져 있지만, 이는 가장 핵심적인 요소라기보다는 보조적인 기법으로 여겨져 왔습니다. 본 논문에서는 Score Distillation에서 Classifier-free guidance의 역할을 재평가하고, 놀라운 발견을 하였습니다: guidance만으로도 효과적인 텍스트-3D 생성 작업이 가능하다는 것입니다. 우리는 이 방법을 Classifier Score Distillation(CSD)이라고 명명하였으며, 이는 생성에 암묵적 분류 모델을 사용하는 것으로 해석될 수 있습니다. 이 새로운 관점은 기존 기술을 이해하는 데 새로운 통찰을 제공합니다. 우리는 CSD의 효과를 다양한 텍스트-3D 작업(형상 생성, 텍스처 합성, 형상 편집 등)에서 검증하였으며, 최신 기술을 능가하는 결과를 달성하였습니다. 프로젝트 페이지는 https://xinyu-andy.github.io/Classifier-Score-Distillation에서 확인할 수 있습니다.

English

Text-to-3D generation has made remarkable progress recently, particularly with methods based on Score Distillation Sampling (SDS) that leverages pre-trained 2D diffusion models. While the usage of classifier-free guidance is well acknowledged to be crucial for successful optimization, it is considered an auxiliary trick rather than the most essential component. In this paper, we re-evaluate the role of classifier-free guidance in score distillation and discover a surprising finding: the guidance alone is enough for effective text-to-3D generation tasks. We name this method Classifier Score Distillation (CSD), which can be interpreted as using an implicit classification model for generation. This new perspective reveals new insights for understanding existing techniques. We validate the effectiveness of CSD across a variety of text-to-3D tasks including shape generation, texture synthesis, and shape editing, achieving results superior to those of state-of-the-art methods. Our project page is https://xinyu-andy.github.io/Classifier-Score-Distillation

분류기 점수 증류를 활용한 텍스트-3D 변환

Text-to-3D with classifier score distillation

초록

Support