NeuralEditor: 포인트 클라우드 조작을 통한 신경 방사 필드 편집
NeuralEditor: Editing Neural Radiance Fields via Manipulating Point Clouds
May 4, 2023
저자: Jun-Kun Chen, Jipeng Lyu, Yu-Xiong Wang
cs.AI
초록
본 논문은 일반적인 형태 편집 작업을 위해 신경 방사 필드(NeRF)를 기본적으로 편집 가능하게 만드는 NeuralEditor를 제안합니다. 새로운 시점 합성에서의 인상적인 결과에도 불구하고, NeRF가 장면의 형태를 편집하는 것은 여전히 근본적인 과제로 남아 있습니다. 우리의 핵심 통찰은 NeRF 렌더링을 관련 3D 포인트 클라우드를 2D 이미지 평면에 투영하거나 "플롯팅"하는 과정으로 직관적으로 해석하는 데서 영감을 받아, 명시적 포인트 클라우드 표현을 NeRF를 구성하기 위한 기반 구조로 활용하는 것입니다. 이를 위해 NeuralEditor는 K-D 트리 기반 밀도 적응형 복셀 내에서의 결정론적 통합을 기반으로 한 새로운 렌더링 방식을 도입하여, 최적화를 통해 고품질 렌더링 결과와 정밀한 포인트 클라우드를 동시에 생성합니다. NeuralEditor는 이후 포인트 클라우드 간의 관련 포인트 매핑을 통해 형태 편집을 수행합니다. 광범위한 평가 결과, NeuralEditor는 형태 변형 및 장면 모핑 작업 모두에서 최첨단 성능을 달성함을 보여줍니다. 특히, NeuralEditor는 제로샷 추론과 편집된 장면에 대한 추가 미세 조정을 모두 지원합니다. 우리의 코드, 벤치마크, 데모 비디오는 https://immortalco.github.io/NeuralEditor에서 확인할 수 있습니다.
English
This paper proposes NeuralEditor that enables neural radiance fields (NeRFs)
natively editable for general shape editing tasks. Despite their impressive
results on novel-view synthesis, it remains a fundamental challenge for NeRFs
to edit the shape of the scene. Our key insight is to exploit the explicit
point cloud representation as the underlying structure to construct NeRFs,
inspired by the intuitive interpretation of NeRF rendering as a process that
projects or "plots" the associated 3D point cloud to a 2D image plane. To this
end, NeuralEditor introduces a novel rendering scheme based on deterministic
integration within K-D tree-guided density-adaptive voxels, which produces both
high-quality rendering results and precise point clouds through optimization.
NeuralEditor then performs shape editing via mapping associated points between
point clouds. Extensive evaluation shows that NeuralEditor achieves
state-of-the-art performance in both shape deformation and scene morphing
tasks. Notably, NeuralEditor supports both zero-shot inference and further
fine-tuning over the edited scene. Our code, benchmark, and demo video are
available at https://immortalco.github.io/NeuralEditor.