DreamCatalyst: Edição 3D Rápida e de Alta Qualidade através do Controle da Editabilidade e Preservação da Identidade

DreamCatalyst: Fast and High-Quality 3D Editing via Controlling Editability and Identity Preservation

July 16, 2024

Autores: Jiwook Kim, Seonho Lee, Jaeyo Shin, Jiho Choi, Hyunjung Shim

cs.AI

Resumo

A amostragem de destilação de pontuação (SDS) surgiu como um framework eficaz em tarefas de edição 3D orientadas por texto devido à sua consistência 3D inerente. No entanto, os métodos de edição 3D baseados em SDS existentes sofrem de um extenso tempo de treinamento e resultam em resultados de baixa qualidade, principalmente porque esses métodos se afastam da dinâmica de amostragem dos modelos de difusão. Neste artigo, propomos o DreamCatalyst, um novo framework que interpreta a edição baseada em SDS como um processo de difusão reversa. Nossa função objetivo considera a dinâmica de amostragem, tornando assim o processo de otimização do DreamCatalyst uma aproximação do processo de difusão reversa em tarefas de edição. O DreamCatalyst tem como objetivo reduzir o tempo de treinamento e melhorar a qualidade da edição. O DreamCatalyst apresenta dois modos: (1) um modo mais rápido, que edita a cena NeRF em apenas cerca de 25 minutos, e (2) um modo de alta qualidade, que produz resultados superiores em menos de 70 minutos. Especificamente, nosso modo de alta qualidade supera os métodos de edição NeRF de última geração atuais tanto em termos de velocidade quanto de qualidade. Veja resultados mais abrangentes em nossa página do projeto: https://dream-catalyst.github.io.

English

Score distillation sampling (SDS) has emerged as an effective framework in text-driven 3D editing tasks due to its inherent 3D consistency. However, existing SDS-based 3D editing methods suffer from extensive training time and lead to low-quality results, primarily because these methods deviate from the sampling dynamics of diffusion models. In this paper, we propose DreamCatalyst, a novel framework that interprets SDS-based editing as a diffusion reverse process. Our objective function considers the sampling dynamics, thereby making the optimization process of DreamCatalyst an approximation of the diffusion reverse process in editing tasks. DreamCatalyst aims to reduce training time and improve editing quality. DreamCatalyst presents two modes: (1) a faster mode, which edits the NeRF scene in only about 25 minutes, and (2) a high-quality mode, which produces superior results in less than 70 minutes. Specifically, our high-quality mode outperforms current state-of-the-art NeRF editing methods both in terms of speed and quality. See more extensive results on our project page: https://dream-catalyst.github.io.