Mirror-NeRF: Aprendizaje de Campos de Radiancia Neural para Espejos con Trazado de Rayos al Estilo Whitted

Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing

August 7, 2023

Autores: Junyi Zeng, Chong Bao, Rui Chen, Zilong Dong, Guofeng Zhang, Hujun Bao, Zhaopeng Cui

cs.AI

Resumen

Recientemente, los Campos de Radiancia Neural (NeRF) han demostrado un éxito significativo en la síntesis de nuevas vistas, reconstrucción de superficies, etc. Sin embargo, dado que no se considera la reflexión física en su pipeline de renderizado, NeRF confunde la reflexión en el espejo como una escena virtual separada, lo que lleva a una reconstrucción inexacta del espejo y a reflexiones inconsistentes en múltiples vistas en el espejo. En este artículo, presentamos un nuevo marco de renderizado neural, denominado Mirror-NeRF, que es capaz de aprender la geometría y la reflexión precisa del espejo y soportar diversas aplicaciones de manipulación de escenas con espejos, como agregar nuevos objetos o espejos a la escena y sintetizar las reflexiones de estos nuevos objetos en los espejos, controlar la rugosidad del espejo, etc. Para lograr este objetivo, proponemos un campo de radiancia unificado mediante la introducción de la probabilidad de reflexión y el trazado de rayos siguiendo el modelo de transporte de luz de Whitted Ray Tracing, y también desarrollamos varias técnicas para facilitar el proceso de aprendizaje. Los experimentos y comparaciones en conjuntos de datos sintéticos y reales demuestran la superioridad de nuestro método. El código y el material complementario están disponibles en la página web del proyecto: https://zju3dv.github.io/Mirror-NeRF/.

English

Recently, Neural Radiance Fields (NeRF) has exhibited significant success in novel view synthesis, surface reconstruction, etc. However, since no physical reflection is considered in its rendering pipeline, NeRF mistakes the reflection in the mirror as a separate virtual scene, leading to the inaccurate reconstruction of the mirror and multi-view inconsistent reflections in the mirror. In this paper, we present a novel neural rendering framework, named Mirror-NeRF, which is able to learn accurate geometry and reflection of the mirror and support various scene manipulation applications with mirrors, such as adding new objects or mirrors into the scene and synthesizing the reflections of these new objects in mirrors, controlling mirror roughness, etc. To achieve this goal, we propose a unified radiance field by introducing the reflection probability and tracing rays following the light transport model of Whitted Ray Tracing, and also develop several techniques to facilitate the learning process. Experiments and comparisons on both synthetic and real datasets demonstrate the superiority of our method. The code and supplementary material are available on the project webpage: https://zju3dv.github.io/Mirror-NeRF/.