Freditor: Hochauflösende und übertragbare NeRF-Bearbeitung durch Frequenzzerlegung

Freditor: High-Fidelity and Transferable NeRF Editing by Frequency Decomposition

April 3, 2024

Autoren: Yisheng He, Weihao Yuan, Siyu Zhu, Zilong Dong, Liefeng Bo, Qixing Huang

cs.AI

Zusammenfassung

Dieses Papier ermöglicht eine hochwertige, übertragbare NeRF-Bearbeitung durch Frequenzzerlegung. Aktuelle NeRF-Bearbeitungspipelines heben 2D-Stilisierungsergebnisse auf 3D-Szenen an, leiden jedoch unter unscharfen Ergebnissen und scheitern daran, detaillierte Strukturen zu erfassen, die durch die Inkonsistenz zwischen 2D-Bearbeitungen verursacht werden. Unser entscheidender Einblick besteht darin, dass die niederfrequenten Komponenten von Bildern nach der Bearbeitung im Vergleich zu ihren hochfrequenten Teilen multiblickkonsistenter sind. Darüber hinaus wird der Erscheinungsstil hauptsächlich in den niederfrequenten Komponenten gezeigt, während die Inhaltsdetails insbesondere in den hochfrequenten Teilen liegen. Dies motiviert uns, die Bearbeitung an den niederfrequenten Komponenten durchzuführen, was zu hochwertig bearbeiteten Szenen führt. Darüber hinaus wird die Bearbeitung im niederfrequenten Merkmalsraum durchgeführt, was eine stabile Intensitätskontrolle und eine neuartige Szenenübertragung ermöglicht. Umfassende Experimente, die an fotorealistischen Datensätzen durchgeführt wurden, zeigen die überlegene Leistungsfähigkeit der hochwertigen und übertragbaren NeRF-Bearbeitung. Die Projektseite befindet sich unter https://aigc3d.github.io/freditor.

English

This paper enables high-fidelity, transferable NeRF editing by frequency decomposition. Recent NeRF editing pipelines lift 2D stylization results to 3D scenes while suffering from blurry results, and fail to capture detailed structures caused by the inconsistency between 2D editings. Our critical insight is that low-frequency components of images are more multiview-consistent after editing compared with their high-frequency parts. Moreover, the appearance style is mainly exhibited on the low-frequency components, and the content details especially reside in high-frequency parts. This motivates us to perform editing on low-frequency components, which results in high-fidelity edited scenes. In addition, the editing is performed in the low-frequency feature space, enabling stable intensity control and novel scene transfer. Comprehensive experiments conducted on photorealistic datasets demonstrate the superior performance of high-fidelity and transferable NeRF editing. The project page is at https://aigc3d.github.io/freditor.