NeuralEditor: Edición de Campos de Radiancia Neural mediante la Manipulación de Nubes de Puntos

NeuralEditor: Editing Neural Radiance Fields via Manipulating Point Clouds

May 4, 2023

Autores: Jun-Kun Chen, Jipeng Lyu, Yu-Xiong Wang

cs.AI

Resumen

Este artículo propone NeuralEditor, que permite que los campos de radiancia neural (NeRFs) sean intrínsecamente editables para tareas generales de edición de formas. A pesar de sus impresionantes resultados en la síntesis de nuevas vistas, sigue siendo un desafío fundamental para los NeRFs editar la forma de la escena. Nuestra idea clave es aprovechar la representación explícita de nubes de puntos como la estructura subyacente para construir NeRFs, inspirados por la interpretación intuitiva del renderizado de NeRF como un proceso que proyecta o "traza" la nube de puntos 3D asociada en un plano de imagen 2D. Para ello, NeuralEditor introduce un nuevo esquema de renderizado basado en integración determinista dentro de vóxeles adaptativos de densidad guiados por árboles K-D, que produce tanto resultados de renderizado de alta calidad como nubes de puntos precisas mediante optimización. NeuralEditor luego realiza la edición de formas mapeando puntos asociados entre nubes de puntos. Una evaluación extensa muestra que NeuralEditor logra un rendimiento de vanguardia tanto en tareas de deformación de formas como en la transformación de escenas. Notablemente, NeuralEditor admite tanto inferencia zero-shot como ajustes adicionales sobre la escena editada. Nuestro código, benchmark y video de demostración están disponibles en https://immortalco.github.io/NeuralEditor.

English

This paper proposes NeuralEditor that enables neural radiance fields (NeRFs) natively editable for general shape editing tasks. Despite their impressive results on novel-view synthesis, it remains a fundamental challenge for NeRFs to edit the shape of the scene. Our key insight is to exploit the explicit point cloud representation as the underlying structure to construct NeRFs, inspired by the intuitive interpretation of NeRF rendering as a process that projects or "plots" the associated 3D point cloud to a 2D image plane. To this end, NeuralEditor introduces a novel rendering scheme based on deterministic integration within K-D tree-guided density-adaptive voxels, which produces both high-quality rendering results and precise point clouds through optimization. NeuralEditor then performs shape editing via mapping associated points between point clouds. Extensive evaluation shows that NeuralEditor achieves state-of-the-art performance in both shape deformation and scene morphing tasks. Notably, NeuralEditor supports both zero-shot inference and further fine-tuning over the edited scene. Our code, benchmark, and demo video are available at https://immortalco.github.io/NeuralEditor.