Texto-para-3D com destilação de pontuação de classificador

Text-to-3D with classifier score distillation

October 30, 2023

Autores: Xin Yu, Yuan-Chen Guo, Yangguang Li, Ding Liang, Song-Hai Zhang, Xiaojuan Qi

cs.AI

Resumo

A geração de texto para 3D tem feito progressos notáveis recentemente, especialmente com métodos baseados em *Score Distillation Sampling* (SDS) que aproveitam modelos de difusão 2D pré-treinados. Embora o uso de *classifier-free guidance* seja amplamente reconhecido como crucial para uma otimização bem-sucedida, ele é considerado um truque auxiliar em vez do componente mais essencial. Neste artigo, reavaliamos o papel do *classifier-free guidance* na destilação de pontuação e descobrimos um achado surpreendente: o *guidance* por si só é suficiente para tarefas eficazes de geração de texto para 3D. Nomeamos esse método como *Classifier Score Distillation* (CSD), que pode ser interpretado como o uso de um modelo de classificação implícita para geração. Essa nova perspectiva revela novos insights para a compreensão de técnicas existentes. Validamos a eficácia do CSD em uma variedade de tarefas de texto para 3D, incluindo geração de formas, síntese de texturas e edição de formas, alcançando resultados superiores aos dos métodos state-of-the-art. Nossa página do projeto está disponível em https://xinyu-andy.github.io/Classifier-Score-Distillation.

English

Text-to-3D generation has made remarkable progress recently, particularly with methods based on Score Distillation Sampling (SDS) that leverages pre-trained 2D diffusion models. While the usage of classifier-free guidance is well acknowledged to be crucial for successful optimization, it is considered an auxiliary trick rather than the most essential component. In this paper, we re-evaluate the role of classifier-free guidance in score distillation and discover a surprising finding: the guidance alone is enough for effective text-to-3D generation tasks. We name this method Classifier Score Distillation (CSD), which can be interpreted as using an implicit classification model for generation. This new perspective reveals new insights for understanding existing techniques. We validate the effectiveness of CSD across a variety of text-to-3D tasks including shape generation, texture synthesis, and shape editing, achieving results superior to those of state-of-the-art methods. Our project page is https://xinyu-andy.github.io/Classifier-Score-Distillation