DreamCatalyst: Modifica 3D Rapida e di Alta Qualità attraverso il Controllo della Modificabilità e della Conservazione dell'Identità

DreamCatalyst: Fast and High-Quality 3D Editing via Controlling Editability and Identity Preservation

July 16, 2024

Autori: Jiwook Kim, Seonho Lee, Jaeyo Shin, Jiho Choi, Hyunjung Shim

cs.AI

Abstract

Il campionamento per distillazione del punteggio (Score Distillation Sampling, SDS) è emerso come un framework efficace nei compiti di editing 3D guidati da testo grazie alla sua intrinseca coerenza 3D. Tuttavia, i metodi di editing 3D basati su SDS esistenti soffrono di tempi di addestramento prolungati e producono risultati di bassa qualità, principalmente perché questi metodi si discostano dalla dinamica di campionamento dei modelli di diffusione. In questo articolo, proponiamo DreamCatalyst, un nuovo framework che interpreta l'editing basato su SDS come un processo inverso di diffusione. La nostra funzione obiettivo tiene conto della dinamica di campionamento, rendendo così il processo di ottimizzazione di DreamCatalyst un'approssimazione del processo inverso di diffusione nei compiti di editing. DreamCatalyst mira a ridurre i tempi di addestramento e a migliorare la qualità dell'editing. DreamCatalyst presenta due modalità: (1) una modalità più veloce, che modifica la scena NeRF in circa 25 minuti, e (2) una modalità ad alta qualità, che produce risultati superiori in meno di 70 minuti. In particolare, la nostra modalità ad alta qualità supera i metodi di editing NeRF attualmente all'avanguardia sia in termini di velocità che di qualità. Per ulteriori risultati dettagliati, consulta la pagina del nostro progetto: https://dream-catalyst.github.io.

English

Score distillation sampling (SDS) has emerged as an effective framework in text-driven 3D editing tasks due to its inherent 3D consistency. However, existing SDS-based 3D editing methods suffer from extensive training time and lead to low-quality results, primarily because these methods deviate from the sampling dynamics of diffusion models. In this paper, we propose DreamCatalyst, a novel framework that interprets SDS-based editing as a diffusion reverse process. Our objective function considers the sampling dynamics, thereby making the optimization process of DreamCatalyst an approximation of the diffusion reverse process in editing tasks. DreamCatalyst aims to reduce training time and improve editing quality. DreamCatalyst presents two modes: (1) a faster mode, which edits the NeRF scene in only about 25 minutes, and (2) a high-quality mode, which produces superior results in less than 70 minutes. Specifically, our high-quality mode outperforms current state-of-the-art NeRF editing methods both in terms of speed and quality. See more extensive results on our project page: https://dream-catalyst.github.io.