DreamCatalyst: 編集性と同一性保持を制御する高速かつ高品質な3D編集

DreamCatalyst: Fast and High-Quality 3D Editing via Controlling Editability and Identity Preservation

July 16, 2024

著者: Jiwook Kim, Seonho Lee, Jaeyo Shin, Jiho Choi, Hyunjung Shim

cs.AI

要旨

スコア蒸留サンプリング（SDS）は、その内在的な3D一貫性により、テキスト駆動型3D編集タスクにおいて有効なフレームワークとして登場しました。しかし、既存のSDSベースの3D編集手法は、拡散モデルのサンプリングダイナミクスから逸脱しているため、長時間のトレーニングを要し、低品質な結果をもたらすという課題があります。本論文では、SDSベースの編集を拡散逆過程として解釈する新しいフレームワーク、DreamCatalystを提案します。我々の目的関数はサンプリングダイナミクスを考慮しており、これによりDreamCatalystの最適化プロセスが編集タスクにおける拡散逆過程の近似となります。DreamCatalystは、トレーニング時間の短縮と編集品質の向上を目指しています。DreamCatalystは2つのモードを提供します：（1）約25分でNeRFシーンを編集する高速モード、（2）70分未満で優れた結果を生成する高品質モードです。特に、我々の高品質モードは、速度と品質の両面において、現在の最先端のNeRF編集手法を凌駕しています。詳細な結果はプロジェクトページ（https://dream-catalyst.github.io）をご覧ください。

English

Score distillation sampling (SDS) has emerged as an effective framework in text-driven 3D editing tasks due to its inherent 3D consistency. However, existing SDS-based 3D editing methods suffer from extensive training time and lead to low-quality results, primarily because these methods deviate from the sampling dynamics of diffusion models. In this paper, we propose DreamCatalyst, a novel framework that interprets SDS-based editing as a diffusion reverse process. Our objective function considers the sampling dynamics, thereby making the optimization process of DreamCatalyst an approximation of the diffusion reverse process in editing tasks. DreamCatalyst aims to reduce training time and improve editing quality. DreamCatalyst presents two modes: (1) a faster mode, which edits the NeRF scene in only about 25 minutes, and (2) a high-quality mode, which produces superior results in less than 70 minutes. Specifically, our high-quality mode outperforms current state-of-the-art NeRF editing methods both in terms of speed and quality. See more extensive results on our project page: https://dream-catalyst.github.io.