NeuralEditor: Editando Campos de Radiosidade Neural por meio da Manipulação de Nuvens de Pontos

NeuralEditor: Editing Neural Radiance Fields via Manipulating Point Clouds

May 4, 2023

Autores: Jun-Kun Chen, Jipeng Lyu, Yu-Xiong Wang

cs.AI

Resumo

Este artigo propõe o NeuralEditor, que permite que campos de radiação neural (NeRFs) sejam editáveis de forma nativa para tarefas gerais de edição de formas. Apesar dos resultados impressionantes na síntese de novas visões, continua sendo um desafio fundamental para os NeRFs editar a forma da cena. Nossa principal intuição é explorar a representação explícita de nuvem de pontos como a estrutura subjacente para construir NeRFs, inspirados pela interpretação intuitiva da renderização NeRF como um processo que projeta ou "plota" a nuvem de pontos 3D associada em um plano de imagem 2D. Para isso, o NeuralEditor introduz um novo esquema de renderização baseado em integração determinística dentro de voxéis adaptativos de densidade guiados por árvore K-D, que produz tanto resultados de renderização de alta qualidade quanto nuvens de pontos precisas por meio de otimização. O NeuralEditor então realiza a edição de forma mapeando pontos associados entre nuvens de pontos. Avaliações extensivas mostram que o NeuralEditor alcança desempenho de ponta tanto em tarefas de deformação de forma quanto em tarefas de morphing de cena. Notavelmente, o NeuralEditor suporta tanto inferência zero-shot quanto ajuste fino adicional sobre a cena editada. Nosso código, benchmark e vídeo de demonstração estão disponíveis em https://immortalco.github.io/NeuralEditor.

English

This paper proposes NeuralEditor that enables neural radiance fields (NeRFs) natively editable for general shape editing tasks. Despite their impressive results on novel-view synthesis, it remains a fundamental challenge for NeRFs to edit the shape of the scene. Our key insight is to exploit the explicit point cloud representation as the underlying structure to construct NeRFs, inspired by the intuitive interpretation of NeRF rendering as a process that projects or "plots" the associated 3D point cloud to a 2D image plane. To this end, NeuralEditor introduces a novel rendering scheme based on deterministic integration within K-D tree-guided density-adaptive voxels, which produces both high-quality rendering results and precise point clouds through optimization. NeuralEditor then performs shape editing via mapping associated points between point clouds. Extensive evaluation shows that NeuralEditor achieves state-of-the-art performance in both shape deformation and scene morphing tasks. Notably, NeuralEditor supports both zero-shot inference and further fine-tuning over the edited scene. Our code, benchmark, and demo video are available at https://immortalco.github.io/NeuralEditor.