Seal-3D : Édition interactive au niveau des pixels pour les champs de radiance neuronaux

Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields

July 27, 2023

Auteurs: Xiangyu Wang, Jingsen Zhu, Qi Ye, Yuchi Huo, Yunlong Ran, Zhihua Zhong, Jiming Chen

cs.AI

Résumé

Avec la popularité croissante des représentations neuronales implicites, ou champs de radiance neuronaux (NeRF), il existe un besoin pressant de méthodes d'édition pour interagir avec les modèles 3D implicites, que ce soit pour le post-traitement de scènes reconstruites ou la création de contenu 3D. Bien que des travaux antérieurs aient exploré l'édition de NeRF sous divers angles, ils restent limités en termes de flexibilité, de qualité et de rapidité d'édition, ne permettant pas de réponse directe aux modifications ni de prévisualisation instantanée. Le défi principal consiste à concevoir une représentation neuronale localement modifiable capable de refléter directement les instructions d'édition et de se mettre à jour instantanément. Pour combler cette lacune, nous proposons une nouvelle méthode et un système interactif d'édition pour les représentations implicites, appelé Seal-3D, qui permet aux utilisateurs de modifier les modèles NeRF de manière libre et au niveau des pixels, avec une large gamme d'architectures de type NeRF, tout en prévisualisant instantanément les effets des modifications. Pour atteindre ces résultats, les défis sont relevés grâce à notre fonction proxy qui mappe les instructions d'édition dans l'espace original des modèles NeRF, ainsi qu'à une stratégie d'apprentissage enseignant-élève combinant un pré-entraînement local et un affinage global. Un système d'édition NeRF est développé pour démontrer divers types de modifications. Notre système permet d'obtenir des effets d'édition convaincants avec une vitesse interactive d'environ 1 seconde.

English

With the popularity of implicit neural representations, or neural radiance fields (NeRF), there is a pressing need for editing methods to interact with the implicit 3D models for tasks like post-processing reconstructed scenes and 3D content creation. While previous works have explored NeRF editing from various perspectives, they are restricted in editing flexibility, quality, and speed, failing to offer direct editing response and instant preview. The key challenge is to conceive a locally editable neural representation that can directly reflect the editing instructions and update instantly. To bridge the gap, we propose a new interactive editing method and system for implicit representations, called Seal-3D, which allows users to edit NeRF models in a pixel-level and free manner with a wide range of NeRF-like backbone and preview the editing effects instantly. To achieve the effects, the challenges are addressed by our proposed proxy function mapping the editing instructions to the original space of NeRF models and a teacher-student training strategy with local pretraining and global finetuning. A NeRF editing system is built to showcase various editing types. Our system can achieve compelling editing effects with an interactive speed of about 1 second.