DreamCatalyst: Schnelle und hochwertige 3D-Bearbeitung durch Steuerung der Bearbeitbarkeit und Identitätserhaltung

DreamCatalyst: Fast and High-Quality 3D Editing via Controlling Editability and Identity Preservation

July 16, 2024

Autoren: Jiwook Kim, Seonho Lee, Jaeyo Shin, Jiho Choi, Hyunjung Shim

cs.AI

Zusammenfassung

Die Score-Distillation-Sampling (SDS) hat sich aufgrund ihrer inhärenten 3D-Konsistenz als effektives Framework bei textbasierten 3D-Bearbeitungsaufgaben erwiesen. Allerdings leiden bestehende SDS-basierte 3D-Bearbeitungsmethoden unter langen Schulungszeiten und führen zu qualitativ minderwertigen Ergebnissen, hauptsächlich weil diese Methoden von den Abtastdynamiken der Diffusionsmodelle abweichen. In diesem Artikel schlagen wir DreamCatalyst vor, ein neuartiges Framework, das SDS-basierte Bearbeitungen als einen diffusionsumgekehrten Prozess interpretiert. Unsere Zielsetzungsfunktion berücksichtigt die Abtastdynamik, wodurch der Optimierungsprozess von DreamCatalyst eine Approximation des diffusionsumgekehrten Prozesses bei Bearbeitungsaufgaben darstellt. DreamCatalyst zielt darauf ab, die Schulungszeit zu reduzieren und die Bearbeitungsqualität zu verbessern. DreamCatalyst präsentiert zwei Modi: (1) einen schnelleren Modus, der die NeRF-Szene in nur etwa 25 Minuten bearbeitet, und (2) einen qualitativ hochwertigen Modus, der überlegene Ergebnisse in weniger als 70 Minuten liefert. Insbesondere übertrifft unser qualitativ hochwertiger Modus aktuelle State-of-the-Art NeRF-Bearbeitungsmethoden sowohl in Bezug auf Geschwindigkeit als auch Qualität. Weitere umfangreiche Ergebnisse finden Sie auf unserer Projektseite: https://dream-catalyst.github.io.

English

Score distillation sampling (SDS) has emerged as an effective framework in text-driven 3D editing tasks due to its inherent 3D consistency. However, existing SDS-based 3D editing methods suffer from extensive training time and lead to low-quality results, primarily because these methods deviate from the sampling dynamics of diffusion models. In this paper, we propose DreamCatalyst, a novel framework that interprets SDS-based editing as a diffusion reverse process. Our objective function considers the sampling dynamics, thereby making the optimization process of DreamCatalyst an approximation of the diffusion reverse process in editing tasks. DreamCatalyst aims to reduce training time and improve editing quality. DreamCatalyst presents two modes: (1) a faster mode, which edits the NeRF scene in only about 25 minutes, and (2) a high-quality mode, which produces superior results in less than 70 minutes. Specifically, our high-quality mode outperforms current state-of-the-art NeRF editing methods both in terms of speed and quality. See more extensive results on our project page: https://dream-catalyst.github.io.