Mirror-NeRF: Apprendimento di Campi di Radianza Neurale per Specchi con Ray Tracing in Stile Whitted

Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing

August 7, 2023

Autori: Junyi Zeng, Chong Bao, Rui Chen, Zilong Dong, Guofeng Zhang, Hujun Bao, Zhaopeng Cui

cs.AI

Abstract

Recentemente, i Neural Radiance Fields (NeRF) hanno dimostrato un notevole successo nella sintesi di nuove visualizzazioni, nella ricostruzione di superfici, ecc. Tuttavia, poiché nessuna riflessione fisica è considerata nel loro processo di rendering, i NeRF interpretano erroneamente la riflessione nello specchio come una scena virtuale separata, portando a una ricostruzione imprecisa dello specchio e a riflessioni incoerenti tra più visualizzazioni nello specchio. In questo articolo, presentiamo un nuovo framework di rendering neurale, denominato Mirror-NeRF, in grado di apprendere la geometria e la riflessione accurata dello specchio e di supportare varie applicazioni di manipolazione della scena con specchi, come l'aggiunta di nuovi oggetti o specchi nella scena e la sintesi delle riflessioni di questi nuovi oggetti negli specchi, il controllo della ruvidità dello specchio, ecc. Per raggiungere questo obiettivo, proponiamo un campo di radianza unificato introducendo la probabilità di riflessione e tracciando i raggi seguendo il modello di trasporto della luce di Whitted Ray Tracing, e sviluppiamo anche diverse tecniche per facilitare il processo di apprendimento. Esperimenti e confronti su dataset sia sintetici che reali dimostrano la superiorità del nostro metodo. Il codice e il materiale supplementare sono disponibili sulla pagina web del progetto: https://zju3dv.github.io/Mirror-NeRF/.

English

Recently, Neural Radiance Fields (NeRF) has exhibited significant success in novel view synthesis, surface reconstruction, etc. However, since no physical reflection is considered in its rendering pipeline, NeRF mistakes the reflection in the mirror as a separate virtual scene, leading to the inaccurate reconstruction of the mirror and multi-view inconsistent reflections in the mirror. In this paper, we present a novel neural rendering framework, named Mirror-NeRF, which is able to learn accurate geometry and reflection of the mirror and support various scene manipulation applications with mirrors, such as adding new objects or mirrors into the scene and synthesizing the reflections of these new objects in mirrors, controlling mirror roughness, etc. To achieve this goal, we propose a unified radiance field by introducing the reflection probability and tracing rays following the light transport model of Whitted Ray Tracing, and also develop several techniques to facilitate the learning process. Experiments and comparisons on both synthetic and real datasets demonstrate the superiority of our method. The code and supplementary material are available on the project webpage: https://zju3dv.github.io/Mirror-NeRF/.