Texto a 3D con destilación de puntuación de clasificador

Text-to-3D with classifier score distillation

October 30, 2023

Autores: Xin Yu, Yuan-Chen Guo, Yangguang Li, Ding Liang, Song-Hai Zhang, Xiaojuan Qi

cs.AI

Resumen

La generación de texto a 3D ha experimentado avances notables recientemente, especialmente con métodos basados en Muestreo de Distilación de Puntajes (SDS, por sus siglas en inglés) que aprovechan modelos de difusión 2D preentrenados. Si bien el uso de guía libre de clasificadores es ampliamente reconocido como crucial para una optimización exitosa, se considera más bien un truco auxiliar que el componente más esencial. En este artículo, reevaluamos el papel de la guía libre de clasificadores en la distilación de puntajes y descubrimos un hallazgo sorprendente: la guía por sí sola es suficiente para tareas efectivas de generación de texto a 3D. Denominamos a este método Distilación de Puntajes de Clasificador (CSD, por sus siglas en inglés), que puede interpretarse como el uso de un modelo de clasificación implícito para la generación. Esta nueva perspectiva revela nuevos conocimientos para comprender las técnicas existentes. Validamos la efectividad de CSD en una variedad de tareas de texto a 3D, incluyendo generación de formas, síntesis de texturas y edición de formas, logrando resultados superiores a los de los métodos más avanzados. Nuestra página del proyecto es https://xinyu-andy.github.io/Classifier-Score-Distillation.

English

Text-to-3D generation has made remarkable progress recently, particularly with methods based on Score Distillation Sampling (SDS) that leverages pre-trained 2D diffusion models. While the usage of classifier-free guidance is well acknowledged to be crucial for successful optimization, it is considered an auxiliary trick rather than the most essential component. In this paper, we re-evaluate the role of classifier-free guidance in score distillation and discover a surprising finding: the guidance alone is enough for effective text-to-3D generation tasks. We name this method Classifier Score Distillation (CSD), which can be interpreted as using an implicit classification model for generation. This new perspective reveals new insights for understanding existing techniques. We validate the effectiveness of CSD across a variety of text-to-3D tasks including shape generation, texture synthesis, and shape editing, achieving results superior to those of state-of-the-art methods. Our project page is https://xinyu-andy.github.io/Classifier-Score-Distillation