Mirror-NeRF: Aprendendo Campos de Radiação Neural para Espelhos com Traçado de Raios ao Estilo Whitted

Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing

August 7, 2023

Autores: Junyi Zeng, Chong Bao, Rui Chen, Zilong Dong, Guofeng Zhang, Hujun Bao, Zhaopeng Cui

cs.AI

Resumo

Recentemente, os Campos de Radiação Neural (NeRF) têm demonstrado sucesso significativo na síntese de novas perspectivas, reconstrução de superfícies, entre outras aplicações. No entanto, como nenhuma reflexão física é considerada em seu pipeline de renderização, o NeRF interpreta a reflexão no espelho como uma cena virtual separada, resultando na reconstrução imprecisa do espelho e em reflexões inconsistentes em múltiplas perspectivas no espelho. Neste artigo, apresentamos uma nova estrutura de renderização neural, denominada Mirror-NeRF, que é capaz de aprender a geometria e a reflexão precisas do espelho e suportar diversas aplicações de manipulação de cenas com espelhos, como adicionar novos objetos ou espelhos à cena e sintetizar as reflexões desses novos objetos nos espelhos, controlar a rugosidade do espelho, entre outras. Para alcançar esse objetivo, propomos um campo de radiação unificado ao introduzir a probabilidade de reflexão e traçar raios seguindo o modelo de transporte de luz do Whitted Ray Tracing, além de desenvolver várias técnicas para facilitar o processo de aprendizado. Experimentos e comparações em conjuntos de dados sintéticos e reais demonstram a superioridade do nosso método. O código e o material suplementar estão disponíveis na página do projeto: https://zju3dv.github.io/Mirror-NeRF/.

English

Recently, Neural Radiance Fields (NeRF) has exhibited significant success in novel view synthesis, surface reconstruction, etc. However, since no physical reflection is considered in its rendering pipeline, NeRF mistakes the reflection in the mirror as a separate virtual scene, leading to the inaccurate reconstruction of the mirror and multi-view inconsistent reflections in the mirror. In this paper, we present a novel neural rendering framework, named Mirror-NeRF, which is able to learn accurate geometry and reflection of the mirror and support various scene manipulation applications with mirrors, such as adding new objects or mirrors into the scene and synthesizing the reflections of these new objects in mirrors, controlling mirror roughness, etc. To achieve this goal, we propose a unified radiance field by introducing the reflection probability and tracing rays following the light transport model of Whitted Ray Tracing, and also develop several techniques to facilitate the learning process. Experiments and comparisons on both synthetic and real datasets demonstrate the superiority of our method. The code and supplementary material are available on the project webpage: https://zju3dv.github.io/Mirror-NeRF/.