Mirror-NeRF: Lernen von Neural Radiance Fields für Spiegel mit Whitted-Stil Raytracing

Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing

August 7, 2023

papers.authors: Junyi Zeng, Chong Bao, Rui Chen, Zilong Dong, Guofeng Zhang, Hujun Bao, Zhaopeng Cui

cs.AI

papers.abstract

Kürzlich haben Neural Radiance Fields (NeRF) bedeutende Erfolge in der Synthese neuer Ansichten, Oberflächenrekonstruktion usw. gezeigt. Da jedoch keine physikalische Reflexion in ihrem Rendering-Prozess berücksichtigt wird, interpretiert NeRF die Spiegelung im Spiegel als eine separate virtuelle Szene, was zu einer ungenauen Rekonstruktion des Spiegels und mehransichtlich inkonsistenten Spiegelungen führt. In diesem Artikel stellen wir ein neuartiges Neural-Rendering-Framework vor, genannt Mirror-NeRF, das in der Lage ist, die genaue Geometrie und Reflexion des Spiegels zu erlernen und verschiedene Szenenmanipulationsanwendungen mit Spiegeln zu unterstützen, wie das Hinzufügen neuer Objekte oder Spiegel in die Szene und die Synthese der Reflexionen dieser neuen Objekte in Spiegeln, die Kontrolle der Spiegelrauheit usw. Um dieses Ziel zu erreichen, schlagen wir ein vereinheitlichtes Radiance Field vor, indem wir die Reflexionswahrscheinlichkeit einführen und Strahlen gemäß dem Lichttransportmodell des Whitted Ray Tracing verfolgen, und entwickeln mehrere Techniken, um den Lernprozess zu erleichtern. Experimente und Vergleiche auf sowohl synthetischen als auch realen Datensätzen demonstrieren die Überlegenheit unserer Methode. Der Code und ergänzendes Material sind auf der Projektwebseite verfügbar: https://zju3dv.github.io/Mirror-NeRF/.

English

Recently, Neural Radiance Fields (NeRF) has exhibited significant success in novel view synthesis, surface reconstruction, etc. However, since no physical reflection is considered in its rendering pipeline, NeRF mistakes the reflection in the mirror as a separate virtual scene, leading to the inaccurate reconstruction of the mirror and multi-view inconsistent reflections in the mirror. In this paper, we present a novel neural rendering framework, named Mirror-NeRF, which is able to learn accurate geometry and reflection of the mirror and support various scene manipulation applications with mirrors, such as adding new objects or mirrors into the scene and synthesizing the reflections of these new objects in mirrors, controlling mirror roughness, etc. To achieve this goal, we propose a unified radiance field by introducing the reflection probability and tracing rays following the light transport model of Whitted Ray Tracing, and also develop several techniques to facilitate the learning process. Experiments and comparisons on both synthetic and real datasets demonstrate the superiority of our method. The code and supplementary material are available on the project webpage: https://zju3dv.github.io/Mirror-NeRF/.