NeuralEditor: Bearbeitung von Neural Radiance Fields durch Manipulation von Punktwolken
NeuralEditor: Editing Neural Radiance Fields via Manipulating Point Clouds
May 4, 2023
Autoren: Jun-Kun Chen, Jipeng Lyu, Yu-Xiong Wang
cs.AI
Zusammenfassung
Dieses Paper stellt NeuralEditor vor, das neuronale Strahlungsfelder (NeRFs) nativ editierbar macht, um allgemeine Formbearbeitungsaufgaben zu ermöglichen. Trotz ihrer beeindruckenden Ergebnisse bei der Synthese neuer Ansichten bleibt es eine grundlegende Herausforderung für NeRFs, die Form einer Szene zu bearbeiten. Unser zentraler Ansatz besteht darin, die explizite Punktwolken-Darstellung als zugrunde liegende Struktur zur Konstruktion von NeRFs zu nutzen, inspiriert durch die intuitive Interpretation des NeRF-Renderings als einen Prozess, der die zugehörige 3D-Punktwolke auf eine 2D-Bildebene projiziert oder „plottet“. Zu diesem Zweck führt NeuralEditor ein neuartiges Rendering-Schema basierend auf deterministischer Integration innerhalb von K-D-Baum-gesteuerten, dichteadaptiven Voxeln ein, das sowohl hochwertige Rendering-Ergebnisse als auch präzise Punktwolken durch Optimierung erzeugt. NeuralEditor führt dann Formbearbeitungen durch, indem es zugehörige Punkte zwischen Punktwolken abbildet. Umfangreiche Auswertungen zeigen, dass NeuralEditor state-of-the-art Leistungen sowohl bei Formverformungen als auch bei Szenenmorphing-Aufgaben erreicht. Bemerkenswerterweise unterstützt NeuralEditor sowohl Zero-Shot-Inferenz als auch weiteres Feintuning über die bearbeitete Szene. Unser Code, Benchmark und Demo-Video sind unter https://immortalco.github.io/NeuralEditor verfügbar.
English
This paper proposes NeuralEditor that enables neural radiance fields (NeRFs)
natively editable for general shape editing tasks. Despite their impressive
results on novel-view synthesis, it remains a fundamental challenge for NeRFs
to edit the shape of the scene. Our key insight is to exploit the explicit
point cloud representation as the underlying structure to construct NeRFs,
inspired by the intuitive interpretation of NeRF rendering as a process that
projects or "plots" the associated 3D point cloud to a 2D image plane. To this
end, NeuralEditor introduces a novel rendering scheme based on deterministic
integration within K-D tree-guided density-adaptive voxels, which produces both
high-quality rendering results and precise point clouds through optimization.
NeuralEditor then performs shape editing via mapping associated points between
point clouds. Extensive evaluation shows that NeuralEditor achieves
state-of-the-art performance in both shape deformation and scene morphing
tasks. Notably, NeuralEditor supports both zero-shot inference and further
fine-tuning over the edited scene. Our code, benchmark, and demo video are
available at https://immortalco.github.io/NeuralEditor.