Freditor: Edición de NeRF de Alta Fidelidad y Transferible mediante Descomposición de Frecuencias

Freditor: High-Fidelity and Transferable NeRF Editing by Frequency Decomposition

April 3, 2024

Autores: Yisheng He, Weihao Yuan, Siyu Zhu, Zilong Dong, Liefeng Bo, Qixing Huang

cs.AI

Resumen

Este artículo permite la edición de alta fidelidad y transferible de NeRF mediante la descomposición en frecuencias. Los flujos de trabajo recientes para la edición de NeRF trasladan resultados de estilización 2D a escenas 3D, pero sufren de resultados borrosos y no logran capturar estructuras detalladas debido a la inconsistencia entre las ediciones 2D. Nuestra idea clave es que los componentes de baja frecuencia de las imágenes son más consistentes en múltiples vistas después de la edición en comparación con sus partes de alta frecuencia. Además, el estilo de apariencia se manifiesta principalmente en los componentes de baja frecuencia, mientras que los detalles del contenido residen especialmente en las partes de alta frecuencia. Esto nos motiva a realizar la edición en los componentes de baja frecuencia, lo que resulta en escenas editadas de alta fidelidad. Adicionalmente, la edición se realiza en el espacio de características de baja frecuencia, permitiendo un control estable de la intensidad y la transferencia a nuevas escenas. Experimentos exhaustivos realizados en conjuntos de datos fotorealistas demuestran el rendimiento superior de la edición de NeRF de alta fidelidad y transferible. La página del proyecto se encuentra en https://aigc3d.github.io/freditor.

English

This paper enables high-fidelity, transferable NeRF editing by frequency decomposition. Recent NeRF editing pipelines lift 2D stylization results to 3D scenes while suffering from blurry results, and fail to capture detailed structures caused by the inconsistency between 2D editings. Our critical insight is that low-frequency components of images are more multiview-consistent after editing compared with their high-frequency parts. Moreover, the appearance style is mainly exhibited on the low-frequency components, and the content details especially reside in high-frequency parts. This motivates us to perform editing on low-frequency components, which results in high-fidelity edited scenes. In addition, the editing is performed in the low-frequency feature space, enabling stable intensity control and novel scene transfer. Comprehensive experiments conducted on photorealistic datasets demonstrate the superior performance of high-fidelity and transferable NeRF editing. The project page is at https://aigc3d.github.io/freditor.