Mirror-NeRF: Het leren van Neural Radiance Fields voor spiegels met Whitted-stijl straalvolging

Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing

August 7, 2023

Auteurs: Junyi Zeng, Chong Bao, Rui Chen, Zilong Dong, Guofeng Zhang, Hujun Bao, Zhaopeng Cui

cs.AI

Samenvatting

Onlangs heeft Neural Radiance Fields (NeRF) aanzienlijk succes getoond in het synthetiseren van nieuwe gezichtspunten, oppervlakreconstructie, enzovoort. Omdat er echter geen fysieke reflectie wordt overwogen in de renderingpipeline, interpreteert NeRF de reflectie in de spiegel als een aparte virtuele scène, wat leidt tot onnauwkeurige reconstructie van de spiegel en inconsistente reflecties in de spiegel vanuit meerdere gezichtspunten. In dit artikel presenteren we een nieuw neurale renderingframework, genaamd Mirror-NeRF, dat in staat is om nauwkeurige geometrie en reflectie van de spiegel te leren en verschillende scenemanipulatie-applicaties met spiegels te ondersteunen, zoals het toevoegen van nieuwe objecten of spiegels aan de scène en het synthetiseren van de reflecties van deze nieuwe objecten in spiegels, het beheersen van de ruwheid van de spiegel, enzovoort. Om dit doel te bereiken, stellen we een verenigd radianceveld voor door de reflectiekans te introduceren en stralen te traceren volgens het lichttransportmodel van Whitted Ray Tracing, en ontwikkelen we ook verschillende technieken om het leerproces te vergemakkelijken. Experimenten en vergelijkingen op zowel synthetische als echte datasets demonstreren de superioriteit van onze methode. De code en aanvullende materialen zijn beschikbaar op de projectwebpagina: https://zju3dv.github.io/Mirror-NeRF/.

English

Recently, Neural Radiance Fields (NeRF) has exhibited significant success in novel view synthesis, surface reconstruction, etc. However, since no physical reflection is considered in its rendering pipeline, NeRF mistakes the reflection in the mirror as a separate virtual scene, leading to the inaccurate reconstruction of the mirror and multi-view inconsistent reflections in the mirror. In this paper, we present a novel neural rendering framework, named Mirror-NeRF, which is able to learn accurate geometry and reflection of the mirror and support various scene manipulation applications with mirrors, such as adding new objects or mirrors into the scene and synthesizing the reflections of these new objects in mirrors, controlling mirror roughness, etc. To achieve this goal, we propose a unified radiance field by introducing the reflection probability and tracing rays following the light transport model of Whitted Ray Tracing, and also develop several techniques to facilitate the learning process. Experiments and comparisons on both synthetic and real datasets demonstrate the superiority of our method. The code and supplementary material are available on the project webpage: https://zju3dv.github.io/Mirror-NeRF/.