Freditor: Modifica NeRF ad Alta Fedeltà e Trasferibile mediante Decomposizione in Frequenza

Freditor: High-Fidelity and Transferable NeRF Editing by Frequency Decomposition

April 3, 2024

Autori: Yisheng He, Weihao Yuan, Siyu Zhu, Zilong Dong, Liefeng Bo, Qixing Huang

cs.AI

Abstract

Questo articolo abilita l'editing ad alta fedeltà e trasferibile di NeRF attraverso la decomposizione in frequenza. Le recenti pipeline di editing NeRF trasferiscono i risultati di stilizzazione 2D a scene 3D, ma soffrono di risultati sfocati e non riescono a catturare strutture dettagliate a causa dell'incoerenza tra le modifiche 2D. La nostra intuizione fondamentale è che le componenti a bassa frequenza delle immagini sono più coerenti da più punti di vista dopo l'editing rispetto alle loro parti ad alta frequenza. Inoltre, lo stile dell'aspetto è principalmente esibito nelle componenti a bassa frequenza, mentre i dettagli del contenuto risiedono soprattutto nelle parti ad alta frequenza. Ciò ci motiva a eseguire l'editing sulle componenti a bassa frequenza, ottenendo scene modificate ad alta fedeltà. In aggiunta, l'editing viene eseguito nello spazio delle feature a bassa frequenza, consentendo un controllo stabile dell'intensità e il trasferimento a nuove scene. Esperimenti completi condotti su dataset fotorealistici dimostrano la performance superiore dell'editing NeRF ad alta fedeltà e trasferibile. La pagina del progetto è disponibile all'indirizzo https://aigc3d.github.io/freditor.

English

This paper enables high-fidelity, transferable NeRF editing by frequency decomposition. Recent NeRF editing pipelines lift 2D stylization results to 3D scenes while suffering from blurry results, and fail to capture detailed structures caused by the inconsistency between 2D editings. Our critical insight is that low-frequency components of images are more multiview-consistent after editing compared with their high-frequency parts. Moreover, the appearance style is mainly exhibited on the low-frequency components, and the content details especially reside in high-frequency parts. This motivates us to perform editing on low-frequency components, which results in high-fidelity edited scenes. In addition, the editing is performed in the low-frequency feature space, enabling stable intensity control and novel scene transfer. Comprehensive experiments conducted on photorealistic datasets demonstrate the superior performance of high-fidelity and transferable NeRF editing. The project page is at https://aigc3d.github.io/freditor.