Freditor: Hoogwaardige en overdraagbare NeRF-bewerking door frequentieontleding

Freditor: High-Fidelity and Transferable NeRF Editing by Frequency Decomposition

April 3, 2024

Auteurs: Yisheng He, Weihao Yuan, Siyu Zhu, Zilong Dong, Liefeng Bo, Qixing Huang

cs.AI

Samenvatting

Dit artikel maakt hoogwaardige, overdraagbare NeRF-bewerking mogelijk door frequentieontleding. Recente NeRF-bewerkingspijplijnen tillen 2D-styliseringsresultaten op naar 3D-scènes, maar lijden onder wazige resultaten en slagen er niet in gedetailleerde structuren vast te leggen vanwege de inconsistentie tussen 2D-bewerkingen. Onze cruciale inzicht is dat de lagefrequentiecomponenten van afbeeldingen na bewerking meer multiview-consistent zijn in vergelijking met hun hogefrequentieonderdelen. Bovendien wordt het uiterlijkstijl voornamelijk getoond op de lagefrequentiecomponenten, terwijl de inhoudelijke details vooral in de hogefrequentieonderdelen zitten. Dit motiveert ons om bewerkingen uit te voeren op lagefrequentiecomponenten, wat resulteert in hoogwaardige bewerkte scènes. Daarnaast wordt de bewerking uitgevoerd in de lagefrequentiekenmerkruimte, wat stabiele intensiteitscontrole en overdracht van nieuwe scènes mogelijk maakt. Uitgebreide experimenten uitgevoerd op fotorealistische datasets tonen de superieure prestaties aan van hoogwaardige en overdraagbare NeRF-bewerking. De projectpagina is te vinden op https://aigc3d.github.io/freditor.

English

This paper enables high-fidelity, transferable NeRF editing by frequency decomposition. Recent NeRF editing pipelines lift 2D stylization results to 3D scenes while suffering from blurry results, and fail to capture detailed structures caused by the inconsistency between 2D editings. Our critical insight is that low-frequency components of images are more multiview-consistent after editing compared with their high-frequency parts. Moreover, the appearance style is mainly exhibited on the low-frequency components, and the content details especially reside in high-frequency parts. This motivates us to perform editing on low-frequency components, which results in high-fidelity edited scenes. In addition, the editing is performed in the low-frequency feature space, enabling stable intensity control and novel scene transfer. Comprehensive experiments conducted on photorealistic datasets demonstrate the superior performance of high-fidelity and transferable NeRF editing. The project page is at https://aigc3d.github.io/freditor.