Tekst-naar-3D met classifier score distillatie

Text-to-3D with classifier score distillation

October 30, 2023

Auteurs: Xin Yu, Yuan-Chen Guo, Yangguang Li, Ding Liang, Song-Hai Zhang, Xiaojuan Qi

cs.AI

Samenvatting

Tekst-naar-3D-generatie heeft recentelijk opmerkelijke vooruitgang geboekt, met name met methoden gebaseerd op Score Distillation Sampling (SDS) die gebruikmaken van vooraf getrainde 2D-diffusiemodellen. Hoewel het gebruik van classifier-free guidance algemeen wordt erkend als cruciaal voor succesvolle optimalisatie, wordt het beschouwd als een hulptruc in plaats van het meest essentiële onderdeel. In dit artikel herzien we de rol van classifier-free guidance in score distillation en ontdekken we een verrassende bevinding: de guidance alleen is voldoende voor effectieve tekst-naar-3D-generatietaken. We noemen deze methode Classifier Score Distillation (CSD), wat kan worden geïnterpreteerd als het gebruik van een impliciet classificatiemodel voor generatie. Dit nieuwe perspectief onthult nieuwe inzichten voor het begrijpen van bestaande technieken. We valideren de effectiviteit van CSD over een verscheidenheid aan tekst-naar-3D-taken, waaronder vormgeneratie, texturesynthese en vormbewerking, en behalen resultaten die superieur zijn aan die van state-of-the-art methoden. Onze projectpagina is https://xinyu-andy.github.io/Classifier-Score-Distillation.

English

Text-to-3D generation has made remarkable progress recently, particularly with methods based on Score Distillation Sampling (SDS) that leverages pre-trained 2D diffusion models. While the usage of classifier-free guidance is well acknowledged to be crucial for successful optimization, it is considered an auxiliary trick rather than the most essential component. In this paper, we re-evaluate the role of classifier-free guidance in score distillation and discover a surprising finding: the guidance alone is enough for effective text-to-3D generation tasks. We name this method Classifier Score Distillation (CSD), which can be interpreted as using an implicit classification model for generation. This new perspective reveals new insights for understanding existing techniques. We validate the effectiveness of CSD across a variety of text-to-3D tasks including shape generation, texture synthesis, and shape editing, achieving results superior to those of state-of-the-art methods. Our project page is https://xinyu-andy.github.io/Classifier-Score-Distillation