Mirror-NeRF: Whitted 스타일 광선 추적을 활용한 거울을 위한 신경 방사 필드 학습

초록

최근, 신경 방사장(Neural Radiance Fields, NeRF)은 새로운 시점 합성, 표면 재구성 등에서 상당한 성공을 거두었습니다. 그러나 NeRF의 렌더링 파이프라인에서는 물리적 반사가 고려되지 않아, 거울의 반사를 별도의 가상 장면으로 오인하여 거울의 부정확한 재구성과 다중 시점에서 일관되지 않은 반사를 초래합니다. 본 논문에서는 Mirror-NeRF라는 새로운 신경 렌더링 프레임워크를 제안합니다. 이 프레임워크는 거울의 정확한 기하학과 반사를 학습할 수 있으며, 새로운 물체나 거울을 장면에 추가하고 이러한 새로운 물체의 반사를 합성하거나 거울의 거칠기를 제어하는 등 다양한 장면 조작 애플리케이션을 지원합니다. 이를 위해, 우리는 반사 확률을 도입하고 Whitted Ray Tracing의 광선 전달 모델을 따라 광선을 추적함으로써 통합된 방사장을 제안하며, 학습 과정을 촉진하기 위한 여러 기술을 개발했습니다. 합성 및 실제 데이터셋에 대한 실험과 비교를 통해 우리 방법의 우수성을 입증했습니다. 코드와 보충 자료는 프로젝트 웹페이지에서 확인할 수 있습니다: https://zju3dv.github.io/Mirror-NeRF/.

English

Recently, Neural Radiance Fields (NeRF) has exhibited significant success in novel view synthesis, surface reconstruction, etc. However, since no physical reflection is considered in its rendering pipeline, NeRF mistakes the reflection in the mirror as a separate virtual scene, leading to the inaccurate reconstruction of the mirror and multi-view inconsistent reflections in the mirror. In this paper, we present a novel neural rendering framework, named Mirror-NeRF, which is able to learn accurate geometry and reflection of the mirror and support various scene manipulation applications with mirrors, such as adding new objects or mirrors into the scene and synthesizing the reflections of these new objects in mirrors, controlling mirror roughness, etc. To achieve this goal, we propose a unified radiance field by introducing the reflection probability and tracing rays following the light transport model of Whitted Ray Tracing, and also develop several techniques to facilitate the learning process. Experiments and comparisons on both synthetic and real datasets demonstrate the superiority of our method. The code and supplementary material are available on the project webpage: https://zju3dv.github.io/Mirror-NeRF/.

Mirror-NeRF: Whitted 스타일 광선 추적을 활용한 거울을 위한 신경 방사 필드 학습

Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing

초록

Support