Freditor: Высококачественное и переносимое редактирование NeRF с помощью разложения по частотам

Freditor: High-Fidelity and Transferable NeRF Editing by Frequency Decomposition

April 3, 2024

Авторы: Yisheng He, Weihao Yuan, Siyu Zhu, Zilong Dong, Liefeng Bo, Qixing Huang

cs.AI

Аннотация

Этот документ позволяет осуществлять редактирование NeRF с высокой степенью достоверности и передачи по частотной декомпозиции. Недавние конвейеры редактирования NeRF преобразуют результаты стилизации 2D в сцены 3D, однако страдают от размытых результатов и не удается захватить детальные структуры, вызванные несоответствием между 2D редактированиями. Наш ключевой анализ заключается в том, что низкочастотные компоненты изображений более мультивидово согласованы после редактирования по сравнению с их высокочастотными частями. Более того, стиль внешнего вида в основном проявляется на низкочастотных компонентах, а детали контента особенно находятся в высокочастотных частях. Это мотивирует нас выполнять редактирование на низкочастотных компонентах, что приводит к созданию сцен с высокой степенью достоверности. Кроме того, редактирование выполняется в пространстве низкочастотных признаков, обеспечивая стабильный контроль интенсивности и новую передачу сцен. Обширные эксперименты, проведенные на фотореалистичных наборах данных, демонстрируют превосходную производительность редактирования NeRF с высокой степенью достоверности и передачи. Страница проекта находится по адресу https://aigc3d.github.io/freditor.

English

This paper enables high-fidelity, transferable NeRF editing by frequency decomposition. Recent NeRF editing pipelines lift 2D stylization results to 3D scenes while suffering from blurry results, and fail to capture detailed structures caused by the inconsistency between 2D editings. Our critical insight is that low-frequency components of images are more multiview-consistent after editing compared with their high-frequency parts. Moreover, the appearance style is mainly exhibited on the low-frequency components, and the content details especially reside in high-frequency parts. This motivates us to perform editing on low-frequency components, which results in high-fidelity edited scenes. In addition, the editing is performed in the low-frequency feature space, enabling stable intensity control and novel scene transfer. Comprehensive experiments conducted on photorealistic datasets demonstrate the superior performance of high-fidelity and transferable NeRF editing. The project page is at https://aigc3d.github.io/freditor.