Seal-3D: Edición Interactiva a Nivel de Píxel para Campos de Radiancia Neural

Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields

July 27, 2023

Autores: Xiangyu Wang, Jingsen Zhu, Qi Ye, Yuchi Huo, Yunlong Ran, Zhihua Zhong, Jiming Chen

cs.AI

Resumen

Con la popularidad de las representaciones neuronales implícitas, o campos de radiancia neuronal (NeRF), existe una necesidad urgente de métodos de edición para interactuar con los modelos 3D implícitos en tareas como el posprocesamiento de escenas reconstruidas y la creación de contenido 3D. Si bien trabajos anteriores han explorado la edición de NeRF desde diversas perspectivas, están limitados en flexibilidad, calidad y velocidad de edición, sin ofrecer una respuesta directa a las modificaciones ni una vista previa instantánea. El desafío clave es concebir una representación neuronal editable localmente que pueda reflejar directamente las instrucciones de edición y actualizarse al instante. Para cerrar esta brecha, proponemos un nuevo método y sistema de edición interactiva para representaciones implícitas, llamado Seal-3D, que permite a los usuarios editar modelos NeRF de manera libre y a nivel de píxel utilizando una amplia gama de arquitecturas similares a NeRF, y previsualizar los efectos de la edición de forma instantánea. Para lograr estos efectos, abordamos los desafíos mediante una función proxy propuesta que mapea las instrucciones de edición al espacio original de los modelos NeRF, junto con una estrategia de entrenamiento de tipo maestro-estudiante que combina preentrenamiento local y ajuste fino global. Se ha construido un sistema de edición de NeRF para demostrar diversos tipos de edición. Nuestro sistema puede lograr efectos de edición convincentes con una velocidad interactiva de aproximadamente 1 segundo.

English

With the popularity of implicit neural representations, or neural radiance fields (NeRF), there is a pressing need for editing methods to interact with the implicit 3D models for tasks like post-processing reconstructed scenes and 3D content creation. While previous works have explored NeRF editing from various perspectives, they are restricted in editing flexibility, quality, and speed, failing to offer direct editing response and instant preview. The key challenge is to conceive a locally editable neural representation that can directly reflect the editing instructions and update instantly. To bridge the gap, we propose a new interactive editing method and system for implicit representations, called Seal-3D, which allows users to edit NeRF models in a pixel-level and free manner with a wide range of NeRF-like backbone and preview the editing effects instantly. To achieve the effects, the challenges are addressed by our proposed proxy function mapping the editing instructions to the original space of NeRF models and a teacher-student training strategy with local pretraining and global finetuning. A NeRF editing system is built to showcase various editing types. Our system can achieve compelling editing effects with an interactive speed of about 1 second.