DreamCatalyst: Snelle en hoogwaardige 3D-bewerking door controle over bewerkbaarheid en identiteitsbehoud

DreamCatalyst: Fast and High-Quality 3D Editing via Controlling Editability and Identity Preservation

July 16, 2024

Auteurs: Jiwook Kim, Seonho Lee, Jaeyo Shin, Jiho Choi, Hyunjung Shim

cs.AI

Samenvatting

Score distillation sampling (SDS) is naar voren gekomen als een effectief raamwerk voor tekstgestuurde 3D-bewerkingstaken vanwege de inherente 3D-consistentie. Echter, bestaande SDS-gebaseerde 3D-bewerkingsmethoden kampen met een lange trainingstijd en leveren resultaten van lage kwaliteit op, voornamelijk omdat deze methoden afwijken van de samplingdynamiek van diffusiemodellen. In dit artikel introduceren we DreamCatalyst, een nieuw raamwerk dat SDS-gebaseerde bewerking interpreteert als een diffusie-omgekeerd proces. Onze doelfunctie houdt rekening met de samplingdynamiek, waardoor het optimalisatieproces van DreamCatalyst een benadering wordt van het diffusie-omgekeerde proces in bewerkingstaken. DreamCatalyst heeft als doel de trainingstijd te verkorten en de bewerkingskwaliteit te verbeteren. DreamCatalyst biedt twee modi: (1) een snellere modus, die de NeRF-scene in slechts ongeveer 25 minuten bewerkt, en (2) een hoogwaardige modus, die superieure resultaten oplevert in minder dan 70 minuten. Specifiek presteert onze hoogwaardige modus beter dan de huidige state-of-the-art NeRF-bewerkingsmethoden, zowel in snelheid als kwaliteit. Bekijk uitgebreidere resultaten op onze projectpagina: https://dream-catalyst.github.io.

English

Score distillation sampling (SDS) has emerged as an effective framework in text-driven 3D editing tasks due to its inherent 3D consistency. However, existing SDS-based 3D editing methods suffer from extensive training time and lead to low-quality results, primarily because these methods deviate from the sampling dynamics of diffusion models. In this paper, we propose DreamCatalyst, a novel framework that interprets SDS-based editing as a diffusion reverse process. Our objective function considers the sampling dynamics, thereby making the optimization process of DreamCatalyst an approximation of the diffusion reverse process in editing tasks. DreamCatalyst aims to reduce training time and improve editing quality. DreamCatalyst presents two modes: (1) a faster mode, which edits the NeRF scene in only about 25 minutes, and (2) a high-quality mode, which produces superior results in less than 70 minutes. Specifically, our high-quality mode outperforms current state-of-the-art NeRF editing methods both in terms of speed and quality. See more extensive results on our project page: https://dream-catalyst.github.io.