Seal-3D: 신경 방사 필드를 위한 인터랙티브 픽셀 수준 편집
Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields
July 27, 2023
저자: Xiangyu Wang, Jingsen Zhu, Qi Ye, Yuchi Huo, Yunlong Ran, Zhihua Zhong, Jiming Chen
cs.AI
초록
암시적 신경 표현(implicit neural representations) 또는 신경 방사 필드(NeRF)의 인기가 높아짐에 따라, 재구성된 장면의 후처리나 3D 콘텐츠 생성과 같은 작업을 위해 암시적 3D 모델과 상호작용할 수 있는 편집 방법이 시급히 요구되고 있습니다. 기존 연구들은 다양한 관점에서 NeRF 편집을 탐구했지만, 편집의 유연성, 품질, 속도 측면에서 제한적이어서 직접적인 편집 응답과 즉각적인 미리보기를 제공하지 못했습니다. 핵심 과제는 편집 지시를 직접 반영하고 즉시 업데이트할 수 있는 지역적으로 편집 가능한 신경 표현을 구상하는 것입니다. 이러한 격차를 해소하기 위해, 우리는 Seal-3D라는 새로운 암시적 표현을 위한 인터랙티브 편집 방법과 시스템을 제안합니다. 이 시스템은 사용자가 다양한 NeRF 유사 백본을 사용하여 픽셀 단위로 자유롭게 NeRF 모델을 편집하고 편집 효과를 즉시 미리볼 수 있도록 합니다. 이러한 효과를 달성하기 위해, 우리는 편집 지시를 NeRF 모델의 원본 공간으로 매핑하는 프록시 함수와 지역적 사전 학습 및 전역적 미세 조정을 포함한 교사-학생 학습 전략을 제안하여 과제를 해결했습니다. 다양한 편집 유형을 보여주기 위해 NeRF 편집 시스템을 구축했으며, 이 시스템은 약 1초의 인터랙티브 속도로 매력적인 편집 효과를 달성할 수 있습니다.
English
With the popularity of implicit neural representations, or neural radiance
fields (NeRF), there is a pressing need for editing methods to interact with
the implicit 3D models for tasks like post-processing reconstructed scenes and
3D content creation. While previous works have explored NeRF editing from
various perspectives, they are restricted in editing flexibility, quality, and
speed, failing to offer direct editing response and instant preview. The key
challenge is to conceive a locally editable neural representation that can
directly reflect the editing instructions and update instantly. To bridge the
gap, we propose a new interactive editing method and system for implicit
representations, called Seal-3D, which allows users to edit NeRF models in a
pixel-level and free manner with a wide range of NeRF-like backbone and preview
the editing effects instantly. To achieve the effects, the challenges are
addressed by our proposed proxy function mapping the editing instructions to
the original space of NeRF models and a teacher-student training strategy with
local pretraining and global finetuning. A NeRF editing system is built to
showcase various editing types. Our system can achieve compelling editing
effects with an interactive speed of about 1 second.