DreamCatalyst: 편집성과 정체성 보존 제어를 통한 빠르고 고품질의 3D 편집

DreamCatalyst: Fast and High-Quality 3D Editing via Controlling Editability and Identity Preservation

July 16, 2024

저자: Jiwook Kim, Seonho Lee, Jaeyo Shin, Jiho Choi, Hyunjung Shim

cs.AI

초록

스코어 증류 샘플링(Score Distillation Sampling, SDS)은 고유의 3D 일관성 덕분에 텍스트 기반 3D 편집 작업에서 효과적인 프레임워크로 부상했습니다. 그러나 기존의 SDS 기반 3D 편집 방법들은 확산 모델의 샘플링 역학에서 벗어나기 때문에 과도한 학습 시간과 낮은 품질의 결과를 초래하는 문제가 있습니다. 본 논문에서는 SDS 기반 편집을 확산 역과정으로 해석하는 새로운 프레임워크인 DreamCatalyst를 제안합니다. 우리의 목적 함수는 샘플링 역학을 고려하여 DreamCatalyst의 최적화 과정이 편집 작업에서의 확산 역과정을 근사하도록 합니다. DreamCatalyst는 학습 시간을 단축하고 편집 품질을 향상시키는 것을 목표로 합니다. DreamCatalyst는 두 가지 모드를 제공합니다: (1) 약 25분 만에 NeRF 장면을 편집하는 빠른 모드와 (2) 70분 이내에 우수한 결과를 생성하는 고품질 모드. 특히, 우리의 고품질 모드는 현재 최첨단 NeRF 편집 방법들을 속도와 품질 모두에서 능가합니다. 더 많은 결과는 프로젝트 페이지(https://dream-catalyst.github.io)에서 확인할 수 있습니다.

English

Score distillation sampling (SDS) has emerged as an effective framework in text-driven 3D editing tasks due to its inherent 3D consistency. However, existing SDS-based 3D editing methods suffer from extensive training time and lead to low-quality results, primarily because these methods deviate from the sampling dynamics of diffusion models. In this paper, we propose DreamCatalyst, a novel framework that interprets SDS-based editing as a diffusion reverse process. Our objective function considers the sampling dynamics, thereby making the optimization process of DreamCatalyst an approximation of the diffusion reverse process in editing tasks. DreamCatalyst aims to reduce training time and improve editing quality. DreamCatalyst presents two modes: (1) a faster mode, which edits the NeRF scene in only about 25 minutes, and (2) a high-quality mode, which produces superior results in less than 70 minutes. Specifically, our high-quality mode outperforms current state-of-the-art NeRF editing methods both in terms of speed and quality. See more extensive results on our project page: https://dream-catalyst.github.io.