DreamCatalyst : Édition 3D rapide et de haute qualité grâce au contrôle de l'éditabilité et de la préservation de l'identité

DreamCatalyst: Fast and High-Quality 3D Editing via Controlling Editability and Identity Preservation

July 16, 2024

Auteurs: Jiwook Kim, Seonho Lee, Jaeyo Shin, Jiho Choi, Hyunjung Shim

cs.AI

Résumé

L'échantillonnage par distillation de score (Score Distillation Sampling, SDS) s'est imposé comme un cadre efficace pour les tâches d'édition 3D pilotées par texte grâce à sa cohérence 3D inhérente. Cependant, les méthodes d'édition 3D basées sur SDS existantes souffrent d'un temps d'entraînement excessif et produisent des résultats de faible qualité, principalement parce que ces méthodes s'écartent de la dynamique d'échantillonnage des modèles de diffusion. Dans cet article, nous proposons DreamCatalyst, un nouveau cadre qui interprète l'édition basée sur SDS comme un processus inverse de diffusion. Notre fonction objectif prend en compte la dynamique d'échantillonnage, faisant ainsi du processus d'optimisation de DreamCatalyst une approximation du processus inverse de diffusion dans les tâches d'édition. DreamCatalyst vise à réduire le temps d'entraînement et à améliorer la qualité de l'édition. DreamCatalyst propose deux modes : (1) un mode rapide, qui édite la scène NeRF en seulement environ 25 minutes, et (2) un mode haute qualité, qui produit des résultats supérieurs en moins de 70 minutes. Plus précisément, notre mode haute qualité surpasse les méthodes d'édition NeRF actuelles de pointe à la fois en termes de vitesse et de qualité. Consultez des résultats plus approfondis sur notre page de projet : https://dream-catalyst.github.io.

English

Score distillation sampling (SDS) has emerged as an effective framework in text-driven 3D editing tasks due to its inherent 3D consistency. However, existing SDS-based 3D editing methods suffer from extensive training time and lead to low-quality results, primarily because these methods deviate from the sampling dynamics of diffusion models. In this paper, we propose DreamCatalyst, a novel framework that interprets SDS-based editing as a diffusion reverse process. Our objective function considers the sampling dynamics, thereby making the optimization process of DreamCatalyst an approximation of the diffusion reverse process in editing tasks. DreamCatalyst aims to reduce training time and improve editing quality. DreamCatalyst presents two modes: (1) a faster mode, which edits the NeRF scene in only about 25 minutes, and (2) a high-quality mode, which produces superior results in less than 70 minutes. Specifically, our high-quality mode outperforms current state-of-the-art NeRF editing methods both in terms of speed and quality. See more extensive results on our project page: https://dream-catalyst.github.io.