NeRF 유사성: NeRF를 위한 예제 기반 시각적 속성 전이

NeRF Analogies: Example-Based Visual Attribute Transfer for NeRFs

February 13, 2024

저자: Michael Fischer, Zhengqin Li, Thu Nguyen-Phuoc, Aljaz Bozic, Zhao Dong, Carl Marshall, Tobias Ritschel

cs.AI

초록

뉴럴 레이디언스 필드(NeRF)는 장면의 3D 기하학적 구조와 외관 간의 특정 관계를 인코딩합니다. 본 연구에서는 소스 NeRF의 외관을 의미론적으로 의미 있는 방식으로 타겟 3D 기하학적 구조에 전이할 수 있는지에 대한 질문을 제기합니다. 이를 통해 결과적으로 생성된 새로운 NeRF는 타겟 기하학적 구조를 유지하면서 소스 NeRF와 유사한 외관을 갖도록 합니다. 이를 위해, 우리는 기존의 2D 이미지 유사성을 NeRF로 일반화합니다. 대규모 사전 학습된 2D 이미지 모델에서 추출한 의미론적 특징에 기반한 의미론적 유사성을 통해 대응 관계 전이를 활용하여 다중 뷰 일관성 있는 외관 전이를 달성합니다. 본 방법론은 3D 기하학적 구조와 외관의 조합 가능한 공간을 탐색할 수 있게 합니다. 우리의 방법이 전통적인 스타일화 기반 방법들을 능가하며, 대다수의 사용자가 여러 일반적인 베이스라인보다 본 방법을 선호한다는 것을 보여줍니다.

English

A Neural Radiance Field (NeRF) encodes the specific relation of 3D geometry and appearance of a scene. We here ask the question whether we can transfer the appearance from a source NeRF onto a target 3D geometry in a semantically meaningful way, such that the resulting new NeRF retains the target geometry but has an appearance that is an analogy to the source NeRF. To this end, we generalize classic image analogies from 2D images to NeRFs. We leverage correspondence transfer along semantic affinity that is driven by semantic features from large, pre-trained 2D image models to achieve multi-view consistent appearance transfer. Our method allows exploring the mix-and-match product space of 3D geometry and appearance. We show that our method outperforms traditional stylization-based methods and that a large majority of users prefer our method over several typical baselines.