Seal-3D: Interaktive Pixel-Level-Bearbeitung für Neural Radiance Fields

Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields

July 27, 2023

Autoren: Xiangyu Wang, Jingsen Zhu, Qi Ye, Yuchi Huo, Yunlong Ran, Zhihua Zhong, Jiming Chen

cs.AI

Zusammenfassung

Mit der zunehmenden Popularität impliziter neuronaler Repräsentationen, insbesondere von Neural Radiance Fields (NeRF), besteht ein dringender Bedarf an Bearbeitungsmethoden, um mit den impliziten 3D-Modellen für Aufgaben wie die Nachbearbeitung rekonstruierter Szenen und die Erstellung von 3D-Inhalten zu interagieren. Während frühere Arbeiten die Bearbeitung von NeRF aus verschiedenen Perspektiven untersucht haben, sind sie in Bezug auf Bearbeitungsflexibilität, Qualität und Geschwindigkeit eingeschränkt und bieten keine direkte Bearbeitungsreaktion und sofortige Vorschau. Die zentrale Herausforderung besteht darin, eine lokal bearbeitbare neuronale Repräsentation zu entwickeln, die die Bearbeitungsanweisungen direkt widerspiegeln und sofort aktualisieren kann. Um diese Lücke zu schließen, schlagen wir eine neue interaktive Bearbeitungsmethode und ein System für implizite Repräsentationen vor, genannt Seal-3D, das es Benutzern ermöglicht, NeRF-Modelle auf Pixel-Ebene und frei mit einer Vielzahl von NeRF-ähnlichen Backbones zu bearbeiten und die Bearbeitungseffekte sofort zu überprüfen. Um diese Effekte zu erzielen, werden die Herausforderungen durch unsere vorgeschlagene Proxy-Funktion, die die Bearbeitungsanweisungen auf den ursprünglichen Raum der NeRF-Modelle abbildet, sowie eine Lehrer-Schüler-Trainingsstrategie mit lokalem Vortraining und globalem Feintuning bewältigt. Ein NeRF-Bearbeitungssystem wurde entwickelt, um verschiedene Bearbeitungstypen zu demonstrieren. Unser System kann überzeugende Bearbeitungseffekte mit einer interaktiven Geschwindigkeit von etwa 1 Sekunde erzielen.

English

With the popularity of implicit neural representations, or neural radiance fields (NeRF), there is a pressing need for editing methods to interact with the implicit 3D models for tasks like post-processing reconstructed scenes and 3D content creation. While previous works have explored NeRF editing from various perspectives, they are restricted in editing flexibility, quality, and speed, failing to offer direct editing response and instant preview. The key challenge is to conceive a locally editable neural representation that can directly reflect the editing instructions and update instantly. To bridge the gap, we propose a new interactive editing method and system for implicit representations, called Seal-3D, which allows users to edit NeRF models in a pixel-level and free manner with a wide range of NeRF-like backbone and preview the editing effects instantly. To achieve the effects, the challenges are addressed by our proposed proxy function mapping the editing instructions to the original space of NeRF models and a teacher-student training strategy with local pretraining and global finetuning. A NeRF editing system is built to showcase various editing types. Our system can achieve compelling editing effects with an interactive speed of about 1 second.