NeuralEditor: Bewerken van Neural Radiance Fields via Manipulatie van Puntenwolken

NeuralEditor: Editing Neural Radiance Fields via Manipulating Point Clouds

May 4, 2023

Auteurs: Jun-Kun Chen, Jipeng Lyu, Yu-Xiong Wang

cs.AI

Samenvatting

Dit artikel introduceert NeuralEditor, waarmee neurale stralingsvelden (NeRFs) inherent bewerkbaar worden gemaakt voor algemene vormbewerkingstaken. Ondanks hun indrukwekkende resultaten in nieuwe-weergave-synthese, blijft het een fundamentele uitdaging voor NeRFs om de vorm van een scène te bewerken. Onze belangrijkste inzicht is om de expliciete puntenwolkrepresentatie te benutten als de onderliggende structuur om NeRFs te construeren, geïnspireerd door de intuïtieve interpretatie van NeRF-rendering als een proces dat de bijbehorende 3D-puntenwolk projecteert of "plot" naar een 2D-beeldvlak. Hiertoe introduceert NeuralEditor een nieuw renderingschema gebaseerd op deterministische integratie binnen K-D boom-gestuurde dichtheidsadaptieve voxels, wat zowel hoogwaardige renderingsresultaten als precieze puntenwolken oplevert door optimalisatie. NeuralEditor voert vervolgens vormbewerking uit door geassocieerde punten tussen puntenwolken in kaart te brengen. Uitgebreide evaluatie toont aan dat NeuralEditor state-of-the-art prestaties bereikt in zowel vormvervorming als scènemorfingstaken. Opmerkelijk is dat NeuralEditor zowel zero-shot inferentie als verdere fine-tuning over de bewerkte scène ondersteunt. Onze code, benchmark en demovideo zijn beschikbaar op https://immortalco.github.io/NeuralEditor.

English

This paper proposes NeuralEditor that enables neural radiance fields (NeRFs) natively editable for general shape editing tasks. Despite their impressive results on novel-view synthesis, it remains a fundamental challenge for NeRFs to edit the shape of the scene. Our key insight is to exploit the explicit point cloud representation as the underlying structure to construct NeRFs, inspired by the intuitive interpretation of NeRF rendering as a process that projects or "plots" the associated 3D point cloud to a 2D image plane. To this end, NeuralEditor introduces a novel rendering scheme based on deterministic integration within K-D tree-guided density-adaptive voxels, which produces both high-quality rendering results and precise point clouds through optimization. NeuralEditor then performs shape editing via mapping associated points between point clouds. Extensive evaluation shows that NeuralEditor achieves state-of-the-art performance in both shape deformation and scene morphing tasks. Notably, NeuralEditor supports both zero-shot inference and further fine-tuning over the edited scene. Our code, benchmark, and demo video are available at https://immortalco.github.io/NeuralEditor.