Freditor: 주파수 분해를 통한 고품질 전이 가능한 NeRF 편집

Freditor: High-Fidelity and Transferable NeRF Editing by Frequency Decomposition

April 3, 2024

저자: Yisheng He, Weihao Yuan, Siyu Zhu, Zilong Dong, Liefeng Bo, Qixing Huang

cs.AI

초록

본 논문은 주파수 분해를 통해 고품질의 전이 가능한 NeRF 편집을 가능하게 합니다. 최근의 NeRF 편색 파이프라인은 2D 스타일화 결과를 3D 장면으로 전환하지만, 흐릿한 결과를 초래하며 2D 편집 간의 불일치로 인해 세부 구조를 제대로 포착하지 못하는 문제가 있습니다. 우리의 핵심 통찰은 편집 후 이미지의 저주파수 성분이 고주파수 부분에 비해 다중 뷰 일관성이 더 높다는 점입니다. 또한, 외관 스타일은 주로 저주파수 성분에 나타나며, 콘텐츠의 세부 사항은 특히 고주파수 부분에 존재합니다. 이는 저주파수 성분에 편집을 수행하여 고품질의 편집된 장면을 얻는 동기를 제공합니다. 또한, 편집은 저주파수 특징 공간에서 수행되어 안정적인 강도 제어와 새로운 장면 전이가 가능합니다. 사실적인 데이터셋에서 수행된 포괄적인 실험은 고품질 및 전이 가능한 NeRF 편색의 우수한 성능을 입증합니다. 프로젝트 페이지는 https://aigc3d.github.io/freditor에서 확인할 수 있습니다.

English

This paper enables high-fidelity, transferable NeRF editing by frequency decomposition. Recent NeRF editing pipelines lift 2D stylization results to 3D scenes while suffering from blurry results, and fail to capture detailed structures caused by the inconsistency between 2D editings. Our critical insight is that low-frequency components of images are more multiview-consistent after editing compared with their high-frequency parts. Moreover, the appearance style is mainly exhibited on the low-frequency components, and the content details especially reside in high-frequency parts. This motivates us to perform editing on low-frequency components, which results in high-fidelity edited scenes. In addition, the editing is performed in the low-frequency feature space, enabling stable intensity control and novel scene transfer. Comprehensive experiments conducted on photorealistic datasets demonstrate the superior performance of high-fidelity and transferable NeRF editing. The project page is at https://aigc3d.github.io/freditor.