Freditor: Edição de NeRF de Alta Fidelidade e Transferível por Decomposição de Frequência

Freditor: High-Fidelity and Transferable NeRF Editing by Frequency Decomposition

April 3, 2024

Autores: Yisheng He, Weihao Yuan, Siyu Zhu, Zilong Dong, Liefeng Bo, Qixing Huang

cs.AI

Resumo

Este artigo possibilita a edição de NeRF de alta fidelidade e transferível por meio de decomposição de frequência. Os pipelines recentes de edição de NeRF elevam resultados de estilização 2D para cenas 3D, mas sofrem com resultados borrados e falham em capturar estruturas detalhadas devido à inconsistência entre as edições 2D. Nossa percepção crítica é que os componentes de baixa frequência das imagens são mais consistentes em múltiplas visualizações após a edição em comparação com suas partes de alta frequência. Além disso, o estilo de aparência é principalmente exibido nos componentes de baixa frequência, enquanto os detalhes de conteúdo residem especialmente nas partes de alta frequência. Isso nos motiva a realizar a edição nos componentes de baixa frequência, resultando em cenas editadas de alta fidelidade. Adicionalmente, a edição é realizada no espaço de características de baixa frequência, permitindo controle estável de intensidade e transferência de cenas inéditas. Experimentos abrangentes conduzidos em conjuntos de dados foto-realísticos demonstram o desempenho superior da edição de NeRF de alta fidelidade e transferível. A página do projeto está em https://aigc3d.github.io/freditor.

English

This paper enables high-fidelity, transferable NeRF editing by frequency decomposition. Recent NeRF editing pipelines lift 2D stylization results to 3D scenes while suffering from blurry results, and fail to capture detailed structures caused by the inconsistency between 2D editings. Our critical insight is that low-frequency components of images are more multiview-consistent after editing compared with their high-frequency parts. Moreover, the appearance style is mainly exhibited on the low-frequency components, and the content details especially reside in high-frequency parts. This motivates us to perform editing on low-frequency components, which results in high-fidelity edited scenes. In addition, the editing is performed in the low-frequency feature space, enabling stable intensity control and novel scene transfer. Comprehensive experiments conducted on photorealistic datasets demonstrate the superior performance of high-fidelity and transferable NeRF editing. The project page is at https://aigc3d.github.io/freditor.