Seal-3D: Modifica Interattiva a Livello di Pixel per Campi di Radianza Neurale

Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields

July 27, 2023

Autori: Xiangyu Wang, Jingsen Zhu, Qi Ye, Yuchi Huo, Yunlong Ran, Zhihua Zhong, Jiming Chen

cs.AI

Abstract

Con la popolarità delle rappresentazioni neurali implicite, o campi di radianza neurale (NeRF), emerge un'esigenza pressante di metodi di editing per interagire con i modelli 3D impliciti, utili per attività come la post-elaborazione di scene ricostruite e la creazione di contenuti 3D. Sebbene lavori precedenti abbiano esplorato l'editing di NeRF da diverse prospettive, essi sono limitati in termini di flessibilità, qualità e velocità di editing, non riuscendo a offrire una risposta diretta all'editing e un'anteprima istantanea. La sfida principale è concepire una rappresentazione neurale localmente modificabile che possa riflettere direttamente le istruzioni di editing e aggiornarsi istantaneamente. Per colmare questa lacuna, proponiamo un nuovo metodo e sistema di editing interattivo per rappresentazioni implicite, chiamato Seal-3D, che consente agli utenti di modificare i modelli NeRF a livello di pixel e in modo libero, utilizzando una vasta gamma di backbone simili a NeRF, e di visualizzare istantaneamente gli effetti dell'editing. Per ottenere questi risultati, le sfide vengono affrontate attraverso una funzione proxy proposta da noi, che mappa le istruzioni di editing nello spazio originale dei modelli NeRF, e una strategia di training insegnante-studente con pre-addestramento locale e fine-tuning globale. È stato sviluppato un sistema di editing NeRF per mostrare vari tipi di modifiche. Il nostro sistema può ottenere effetti di editing convincenti con una velocità interattiva di circa 1 secondo.

English

With the popularity of implicit neural representations, or neural radiance fields (NeRF), there is a pressing need for editing methods to interact with the implicit 3D models for tasks like post-processing reconstructed scenes and 3D content creation. While previous works have explored NeRF editing from various perspectives, they are restricted in editing flexibility, quality, and speed, failing to offer direct editing response and instant preview. The key challenge is to conceive a locally editable neural representation that can directly reflect the editing instructions and update instantly. To bridge the gap, we propose a new interactive editing method and system for implicit representations, called Seal-3D, which allows users to edit NeRF models in a pixel-level and free manner with a wide range of NeRF-like backbone and preview the editing effects instantly. To achieve the effects, the challenges are addressed by our proposed proxy function mapping the editing instructions to the original space of NeRF models and a teacher-student training strategy with local pretraining and global finetuning. A NeRF editing system is built to showcase various editing types. Our system can achieve compelling editing effects with an interactive speed of about 1 second.