DreamCatalyst: Edición 3D rápida y de alta calidad a través del control de la editabilidad y preservación de la identidad.

DreamCatalyst: Fast and High-Quality 3D Editing via Controlling Editability and Identity Preservation

July 16, 2024

Autores: Jiwook Kim, Seonho Lee, Jaeyo Shin, Jiho Choi, Hyunjung Shim

cs.AI

Resumen

La muestreo de destilación de puntuación (SDS) ha surgido como un marco efectivo en tareas de edición 3D impulsadas por texto debido a su inherente consistencia 3D. Sin embargo, los métodos de edición 3D basados en SDS existentes sufren de un extenso tiempo de entrenamiento y conducen a resultados de baja calidad, principalmente porque estos métodos se desvían de la dinámica de muestreo de los modelos de difusión. En este documento, proponemos DreamCatalyst, un marco novedoso que interpreta la edición basada en SDS como un proceso de difusión inversa. Nuestra función objetivo considera la dinámica de muestreo, haciendo que el proceso de optimización de DreamCatalyst sea una aproximación del proceso de difusión inversa en tareas de edición. DreamCatalyst tiene como objetivo reducir el tiempo de entrenamiento y mejorar la calidad de edición. DreamCatalyst presenta dos modos: (1) un modo más rápido, que edita la escena NeRF en solo unos 25 minutos, y (2) un modo de alta calidad, que produce resultados superiores en menos de 70 minutos. Específicamente, nuestro modo de alta calidad supera a los métodos de edición NeRF de vanguardia actuales tanto en velocidad como en calidad. Consulte resultados más extensos en nuestra página del proyecto: https://dream-catalyst.github.io.

English

Score distillation sampling (SDS) has emerged as an effective framework in text-driven 3D editing tasks due to its inherent 3D consistency. However, existing SDS-based 3D editing methods suffer from extensive training time and lead to low-quality results, primarily because these methods deviate from the sampling dynamics of diffusion models. In this paper, we propose DreamCatalyst, a novel framework that interprets SDS-based editing as a diffusion reverse process. Our objective function considers the sampling dynamics, thereby making the optimization process of DreamCatalyst an approximation of the diffusion reverse process in editing tasks. DreamCatalyst aims to reduce training time and improve editing quality. DreamCatalyst presents two modes: (1) a faster mode, which edits the NeRF scene in only about 25 minutes, and (2) a high-quality mode, which produces superior results in less than 70 minutes. Specifically, our high-quality mode outperforms current state-of-the-art NeRF editing methods both in terms of speed and quality. See more extensive results on our project page: https://dream-catalyst.github.io.