DreamCatalyst: Быстрое и качественное редактирование 3D-моделей с помощью управления редактируемостью и сохранением идентичности.

DreamCatalyst: Fast and High-Quality 3D Editing via Controlling Editability and Identity Preservation

July 16, 2024

Авторы: Jiwook Kim, Seonho Lee, Jaeyo Shin, Jiho Choi, Hyunjung Shim

cs.AI

Аннотация

Метод сжатия оценок (Score distillation sampling, SDS) стал эффективной рамкой в задачах редактирования 3D-моделей на основе текста благодаря своей врожденной 3D-согласованности. Однако существующие методы редактирования 3D на основе SDS страдают от длительного времени обучения и приводят к низкокачественным результатам, в основном потому, что эти методы отклоняются от динамики выборки моделей диффузии. В данной статье мы предлагаем DreamCatalyst, новую рамку, которая интерпретирует редактирование на основе SDS как обратный процесс диффузии. Наша целевая функция учитывает динамику выборки, что делает процесс оптимизации DreamCatalyst приближением обратного процесса диффузии в задачах редактирования. DreamCatalyst нацелен на сокращение времени обучения и улучшение качества редактирования. DreamCatalyst представляет два режима: (1) более быстрый режим, который редактирует сцену NeRF всего за около 25 минут, и (2) режим высокого качества, который производит превосходные результаты менее чем за 70 минут. В частности, наш режим высокого качества превосходит текущие передовые методы редактирования NeRF как по скорости, так и по качеству. Более подробные результаты доступны на нашей странице проекта: https://dream-catalyst.github.io.

English

Score distillation sampling (SDS) has emerged as an effective framework in text-driven 3D editing tasks due to its inherent 3D consistency. However, existing SDS-based 3D editing methods suffer from extensive training time and lead to low-quality results, primarily because these methods deviate from the sampling dynamics of diffusion models. In this paper, we propose DreamCatalyst, a novel framework that interprets SDS-based editing as a diffusion reverse process. Our objective function considers the sampling dynamics, thereby making the optimization process of DreamCatalyst an approximation of the diffusion reverse process in editing tasks. DreamCatalyst aims to reduce training time and improve editing quality. DreamCatalyst presents two modes: (1) a faster mode, which edits the NeRF scene in only about 25 minutes, and (2) a high-quality mode, which produces superior results in less than 70 minutes. Specifically, our high-quality mode outperforms current state-of-the-art NeRF editing methods both in terms of speed and quality. See more extensive results on our project page: https://dream-catalyst.github.io.