NeuralEditor: ポイントクラウド操作によるニューラルラジアンスフィールドの編集

NeuralEditor: Editing Neural Radiance Fields via Manipulating Point Clouds

May 4, 2023

著者: Jun-Kun Chen, Jipeng Lyu, Yu-Xiong Wang

cs.AI

要旨

本論文では、一般的な形状編集タスクに対してニューラルラジアンスフィールド（NeRF）をネイティブに編集可能にするNeuralEditorを提案する。NeRFは新規視点合成において印象的な結果を達成しているものの、シーンの形状を編集することは依然として根本的な課題である。我々の重要な洞察は、NeRFのレンダリングを関連する3D点群を2D画像平面に投影または「プロット」するプロセスとして直感的に解釈することに着想を得て、NeRFを構築するための基盤構造として明示的な点群表現を活用することである。この目的のために、NeuralEditorはK-Dツリーに基づく密度適応ボクセル内での決定論的積分に基づく新しいレンダリングスキームを導入し、最適化を通じて高品質なレンダリング結果と精密な点群の両方を生成する。NeuralEditorはその後、点群間の関連点をマッピングすることで形状編集を実行する。広範な評価により、NeuralEditorが形状変形とシーンモーフィングの両タスクにおいて最先端の性能を達成することが示された。特に、NeuralEditorはゼロショット推論と編集されたシーンに対するさらなるファインチューニングの両方をサポートする。我々のコード、ベンチマーク、デモ動画はhttps://immortalco.github.io/NeuralEditorで公開されている。

English

This paper proposes NeuralEditor that enables neural radiance fields (NeRFs) natively editable for general shape editing tasks. Despite their impressive results on novel-view synthesis, it remains a fundamental challenge for NeRFs to edit the shape of the scene. Our key insight is to exploit the explicit point cloud representation as the underlying structure to construct NeRFs, inspired by the intuitive interpretation of NeRF rendering as a process that projects or "plots" the associated 3D point cloud to a 2D image plane. To this end, NeuralEditor introduces a novel rendering scheme based on deterministic integration within K-D tree-guided density-adaptive voxels, which produces both high-quality rendering results and precise point clouds through optimization. NeuralEditor then performs shape editing via mapping associated points between point clouds. Extensive evaluation shows that NeuralEditor achieves state-of-the-art performance in both shape deformation and scene morphing tasks. Notably, NeuralEditor supports both zero-shot inference and further fine-tuning over the edited scene. Our code, benchmark, and demo video are available at https://immortalco.github.io/NeuralEditor.