Текст-в-3D с дистилляцией оценок классификатора

Text-to-3D with classifier score distillation

October 30, 2023

Авторы: Xin Yu, Yuan-Chen Guo, Yangguang Li, Ding Liang, Song-Hai Zhang, Xiaojuan Qi

cs.AI

Аннотация

Генерация 3D-моделей из текста в последнее время достигла значительного прогресса, особенно благодаря методам, основанным на Score Distillation Sampling (SDS), которые используют предобученные 2D диффузионные модели. Хотя использование классификатор-фри гида (classifier-free guidance) широко признано важным для успешной оптимизации, оно считается скорее вспомогательным приемом, чем ключевым компонентом. В данной работе мы переоцениваем роль классификатор-фри гида в процессе дистилляции оценок и обнаруживаем удивительный факт: сам по себе гид достаточен для эффективного выполнения задач генерации 3D-моделей из текста. Мы называем этот метод Classifier Score Distillation (CSD), который можно интерпретировать как использование неявной классификационной модели для генерации. Этот новый взгляд открывает новые возможности для понимания существующих техник. Мы подтверждаем эффективность CSD на различных задачах генерации 3D-моделей, включая создание форм, синтез текстур и редактирование форм, достигая результатов, превосходящих современные методы. Наша страница проекта доступна по адресу: https://xinyu-andy.github.io/Classifier-Score-Distillation.

English

Text-to-3D generation has made remarkable progress recently, particularly with methods based on Score Distillation Sampling (SDS) that leverages pre-trained 2D diffusion models. While the usage of classifier-free guidance is well acknowledged to be crucial for successful optimization, it is considered an auxiliary trick rather than the most essential component. In this paper, we re-evaluate the role of classifier-free guidance in score distillation and discover a surprising finding: the guidance alone is enough for effective text-to-3D generation tasks. We name this method Classifier Score Distillation (CSD), which can be interpreted as using an implicit classification model for generation. This new perspective reveals new insights for understanding existing techniques. We validate the effectiveness of CSD across a variety of text-to-3D tasks including shape generation, texture synthesis, and shape editing, achieving results superior to those of state-of-the-art methods. Our project page is https://xinyu-andy.github.io/Classifier-Score-Distillation