NeuralEditor: Modifica dei Campi di Radianza Neurale attraverso la Manipolazione di Nuvole di Punti

NeuralEditor: Editing Neural Radiance Fields via Manipulating Point Clouds

May 4, 2023

Autori: Jun-Kun Chen, Jipeng Lyu, Yu-Xiong Wang

cs.AI

Abstract

Questo articolo propone NeuralEditor, che rende i campi di radianza neurale (NeRFs) intrinsecamente modificabili per compiti generali di editing delle forme. Nonostante i risultati impressionanti nella sintesi di nuove viste, rimane una sfida fondamentale per i NeRFs modificare la forma della scena. La nostra intuizione chiave è sfruttare la rappresentazione esplicita della nuvola di punti come struttura sottostante per costruire i NeRFs, ispirati dall'interpretazione intuitiva del rendering NeRF come un processo che proietta o "traccia" la nuvola di punti 3D associata su un piano immagine 2D. A tal fine, NeuralEditor introduce un nuovo schema di rendering basato sull'integrazione deterministica all'interno di voxel adattivi alla densità guidati da K-D tree, che produce sia risultati di rendering di alta qualità che nuvole di punti precise attraverso l'ottimizzazione. NeuralEditor esegue poi l'editing delle forme mappando i punti associati tra le nuvole di punti. Una valutazione estensiva mostra che NeuralEditor raggiunge prestazioni all'avanguardia sia nei compiti di deformazione delle forme che di morphing delle scene. In particolare, NeuralEditor supporta sia l'inferenza zero-shot che un ulteriore fine-tuning sulla scena modificata. Il nostro codice, benchmark e video demo sono disponibili su https://immortalco.github.io/NeuralEditor.

English

This paper proposes NeuralEditor that enables neural radiance fields (NeRFs) natively editable for general shape editing tasks. Despite their impressive results on novel-view synthesis, it remains a fundamental challenge for NeRFs to edit the shape of the scene. Our key insight is to exploit the explicit point cloud representation as the underlying structure to construct NeRFs, inspired by the intuitive interpretation of NeRF rendering as a process that projects or "plots" the associated 3D point cloud to a 2D image plane. To this end, NeuralEditor introduces a novel rendering scheme based on deterministic integration within K-D tree-guided density-adaptive voxels, which produces both high-quality rendering results and precise point clouds through optimization. NeuralEditor then performs shape editing via mapping associated points between point clouds. Extensive evaluation shows that NeuralEditor achieves state-of-the-art performance in both shape deformation and scene morphing tasks. Notably, NeuralEditor supports both zero-shot inference and further fine-tuning over the edited scene. Our code, benchmark, and demo video are available at https://immortalco.github.io/NeuralEditor.