Seal-3D: Edição Interativa em Nível de Pixel para Campos de Radiação Neural

Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields

July 27, 2023

Autores: Xiangyu Wang, Jingsen Zhu, Qi Ye, Yuchi Huo, Yunlong Ran, Zhihua Zhong, Jiming Chen

cs.AI

Resumo

Com a popularidade das representações neurais implícitas, ou campos de radiação neural (NeRF), há uma necessidade urgente de métodos de edição para interagir com modelos 3D implícitos em tarefas como pós-processamento de cenas reconstruídas e criação de conteúdo 3D. Embora trabalhos anteriores tenham explorado a edição de NeRF sob diversas perspectivas, eles são limitados em flexibilidade, qualidade e velocidade de edição, falhando em oferecer resposta direta à edição e visualização instantânea. O principal desafio é conceber uma representação neural editável localmente que possa refletir diretamente as instruções de edição e atualizar instantaneamente. Para preencher essa lacuna, propomos um novo método e sistema de edição interativa para representações implícitas, chamado Seal-3D, que permite aos usuários editar modelos NeRF de maneira livre e em nível de pixel com uma ampla gama de backbones semelhantes a NeRF e visualizar os efeitos da edição instantaneamente. Para alcançar esses efeitos, os desafios são abordados por nossa função proxy proposta, que mapeia as instruções de edição para o espaço original dos modelos NeRF, e por uma estratégia de treinamento professor-aluno com pré-treinamento local e ajuste fino global. Um sistema de edição NeRF foi construído para demonstrar diversos tipos de edição. Nosso sistema pode alcançar efeitos de edição impressionantes com uma velocidade interativa de cerca de 1 segundo.

English

With the popularity of implicit neural representations, or neural radiance fields (NeRF), there is a pressing need for editing methods to interact with the implicit 3D models for tasks like post-processing reconstructed scenes and 3D content creation. While previous works have explored NeRF editing from various perspectives, they are restricted in editing flexibility, quality, and speed, failing to offer direct editing response and instant preview. The key challenge is to conceive a locally editable neural representation that can directly reflect the editing instructions and update instantly. To bridge the gap, we propose a new interactive editing method and system for implicit representations, called Seal-3D, which allows users to edit NeRF models in a pixel-level and free manner with a wide range of NeRF-like backbone and preview the editing effects instantly. To achieve the effects, the challenges are addressed by our proposed proxy function mapping the editing instructions to the original space of NeRF models and a teacher-student training strategy with local pretraining and global finetuning. A NeRF editing system is built to showcase various editing types. Our system can achieve compelling editing effects with an interactive speed of about 1 second.