Text-zu-3D mit Klassifikator-Score-Distillation

Text-to-3D with classifier score distillation

October 30, 2023

papers.authors: Xin Yu, Yuan-Chen Guo, Yangguang Li, Ding Liang, Song-Hai Zhang, Xiaojuan Qi

cs.AI

papers.abstract

Die Text-zu-3D-Generierung hat in letzter Zeit bemerkenswerte Fortschritte gemacht, insbesondere durch Methoden, die auf Score Distillation Sampling (SDS) basieren und vortrainierte 2D-Diffusionsmodelle nutzen. Während die Verwendung von Classifier-Free Guidance allgemein als entscheidend für eine erfolgreiche Optimierung anerkannt ist, wird sie eher als Hilfstrick denn als wesentlicher Bestandteil betrachtet. In diesem Papier bewerten wir die Rolle von Classifier-Free Guidance in der Score Distillation neu und entdecken eine überraschende Erkenntnis: Die Guidance allein reicht aus, um effektive Text-zu-3D-Generierungsaufgaben zu bewältigen. Wir nennen diese Methode Classifier Score Distillation (CSD), die als die Verwendung eines impliziten Klassifikationsmodells für die Generierung interpretiert werden kann. Diese neue Perspektive offenbart neue Einblicke für das Verständnis bestehender Techniken. Wir validieren die Wirksamkeit von CSD in einer Vielzahl von Text-zu-3D-Aufgaben, einschließlich Formgenerierung, Textursynthese und Formbearbeitung, und erzielen dabei Ergebnisse, die denen der modernsten Methoden überlegen sind. Unsere Projektseite ist https://xinyu-andy.github.io/Classifier-Score-Distillation.

English

Text-to-3D generation has made remarkable progress recently, particularly with methods based on Score Distillation Sampling (SDS) that leverages pre-trained 2D diffusion models. While the usage of classifier-free guidance is well acknowledged to be crucial for successful optimization, it is considered an auxiliary trick rather than the most essential component. In this paper, we re-evaluate the role of classifier-free guidance in score distillation and discover a surprising finding: the guidance alone is enough for effective text-to-3D generation tasks. We name this method Classifier Score Distillation (CSD), which can be interpreted as using an implicit classification model for generation. This new perspective reveals new insights for understanding existing techniques. We validate the effectiveness of CSD across a variety of text-to-3D tasks including shape generation, texture synthesis, and shape editing, achieving results superior to those of state-of-the-art methods. Our project page is https://xinyu-andy.github.io/Classifier-Score-Distillation