Freditor: 周波数分解による高忠実度かつ転移可能なNeRF編集

Freditor: High-Fidelity and Transferable NeRF Editing by Frequency Decomposition

April 3, 2024

著者: Yisheng He, Weihao Yuan, Siyu Zhu, Zilong Dong, Liefeng Bo, Qixing Huang

cs.AI

要旨

本論文は、周波数分解による高忠実度で転移可能なNeRF編集を実現する。最近のNeRF編集パイプラインは、2Dのスタイル化結果を3Dシーンに適用するが、ぼやけた結果に悩まされ、2D編集間の不整合により詳細な構造を捉えることに失敗している。我々の重要な洞察は、編集後の画像の低周波成分が高周波部分と比較して多視点整合性が高いことである。さらに、外観スタイルは主に低周波成分に現れ、内容の詳細は特に高周波部分に存在する。これにより、低周波成分に対して編集を行うことで、高忠実度の編集シーンが得られる。加えて、編集は低周波特徴空間で行われるため、安定した強度制御と新規シーン転移が可能となる。フォトリアルなデータセットで実施した包括的な実験により、高忠実度で転移可能なNeRF編集の優れた性能が実証された。プロジェクトページはhttps://aigc3d.github.io/freditorにある。

English

This paper enables high-fidelity, transferable NeRF editing by frequency decomposition. Recent NeRF editing pipelines lift 2D stylization results to 3D scenes while suffering from blurry results, and fail to capture detailed structures caused by the inconsistency between 2D editings. Our critical insight is that low-frequency components of images are more multiview-consistent after editing compared with their high-frequency parts. Moreover, the appearance style is mainly exhibited on the low-frequency components, and the content details especially reside in high-frequency parts. This motivates us to perform editing on low-frequency components, which results in high-fidelity edited scenes. In addition, the editing is performed in the low-frequency feature space, enabling stable intensity control and novel scene transfer. Comprehensive experiments conducted on photorealistic datasets demonstrate the superior performance of high-fidelity and transferable NeRF editing. The project page is at https://aigc3d.github.io/freditor.