NeuralEditor : Édition de champs de radiance neuronaux via la manipulation de nuages de points

NeuralEditor: Editing Neural Radiance Fields via Manipulating Point Clouds

May 4, 2023

Auteurs: Jun-Kun Chen, Jipeng Lyu, Yu-Xiong Wang

cs.AI

Résumé

Cet article propose NeuralEditor, un outil permettant de rendre les champs de radiance neuronaux (NeRFs) intrinsèquement modifiables pour des tâches générales d'édition de formes. Malgré leurs résultats impressionnants en synthèse de nouvelles vues, il reste un défi fondamental pour les NeRFs de modifier la forme d'une scène. Notre idée clé est d'exploiter la représentation explicite par nuage de points comme structure sous-jacente pour construire les NeRFs, inspirée par l'interprétation intuitive du rendu NeRF comme un processus qui projette ou "trace" le nuage de points 3D associé sur un plan d'image 2D. À cette fin, NeuralEditor introduit un nouveau schéma de rendu basé sur l'intégration déterministe au sein de voxels adaptatifs en densité guidés par un arbre K-D, qui produit à la fois des résultats de rendu de haute qualité et des nuages de points précis grâce à l'optimisation. NeuralEditor effectue ensuite l'édition de forme en mappant les points associés entre les nuages de points. Une évaluation approfondie montre que NeuralEditor atteint des performances de pointe dans les tâches de déformation de forme et de morphing de scène. Notamment, NeuralEditor prend en charge à la fois l'inférence zero-shot et un ajustement fin supplémentaire sur la scène modifiée. Notre code, benchmark et vidéo de démonstration sont disponibles à l'adresse https://immortalco.github.io/NeuralEditor.

English

This paper proposes NeuralEditor that enables neural radiance fields (NeRFs) natively editable for general shape editing tasks. Despite their impressive results on novel-view synthesis, it remains a fundamental challenge for NeRFs to edit the shape of the scene. Our key insight is to exploit the explicit point cloud representation as the underlying structure to construct NeRFs, inspired by the intuitive interpretation of NeRF rendering as a process that projects or "plots" the associated 3D point cloud to a 2D image plane. To this end, NeuralEditor introduces a novel rendering scheme based on deterministic integration within K-D tree-guided density-adaptive voxels, which produces both high-quality rendering results and precise point clouds through optimization. NeuralEditor then performs shape editing via mapping associated points between point clouds. Extensive evaluation shows that NeuralEditor achieves state-of-the-art performance in both shape deformation and scene morphing tasks. Notably, NeuralEditor supports both zero-shot inference and further fine-tuning over the edited scene. Our code, benchmark, and demo video are available at https://immortalco.github.io/NeuralEditor.