Mirror-NeRF : Apprentissage de champs de rayonnement neuronaux pour les miroirs avec un lancer de rayons de style Whitted
Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing
August 7, 2023
papers.authors: Junyi Zeng, Chong Bao, Rui Chen, Zilong Dong, Guofeng Zhang, Hujun Bao, Zhaopeng Cui
cs.AI
papers.abstract
Récemment, les Champs de Radiance Neuronaux (NeRF) ont connu un succès significatif dans la synthèse de nouvelles vues, la reconstruction de surfaces, etc. Cependant, comme aucune réflexion physique n'est prise en compte dans son pipeline de rendu, NeRF interprète la réflexion dans le miroir comme une scène virtuelle distincte, conduisant à une reconstruction inexacte du miroir et à des réflexions incohérentes dans le miroir selon les différentes vues. Dans cet article, nous présentons un nouveau cadre de rendu neuronal, nommé Mirror-NeRF, capable d'apprendre la géométrie précise et la réflexion du miroir, et de supporter diverses applications de manipulation de scènes avec des miroirs, telles que l'ajout de nouveaux objets ou miroirs dans la scène et la synthèse des réflexions de ces nouveaux objets dans les miroirs, le contrôle de la rugosité des miroirs, etc. Pour atteindre cet objectif, nous proposons un champ de radiance unifié en introduisant la probabilité de réflexion et en traçant les rayons suivant le modèle de transport lumineux de Whitted Ray Tracing, et nous développons également plusieurs techniques pour faciliter le processus d'apprentissage. Les expériences et comparaisons sur des ensembles de données synthétiques et réels démontrent la supériorité de notre méthode. Le code et le matériel supplémentaire sont disponibles sur la page web du projet : https://zju3dv.github.io/Mirror-NeRF/.
English
Recently, Neural Radiance Fields (NeRF) has exhibited significant success in
novel view synthesis, surface reconstruction, etc. However, since no physical
reflection is considered in its rendering pipeline, NeRF mistakes the
reflection in the mirror as a separate virtual scene, leading to the inaccurate
reconstruction of the mirror and multi-view inconsistent reflections in the
mirror. In this paper, we present a novel neural rendering framework, named
Mirror-NeRF, which is able to learn accurate geometry and reflection of the
mirror and support various scene manipulation applications with mirrors, such
as adding new objects or mirrors into the scene and synthesizing the
reflections of these new objects in mirrors, controlling mirror roughness, etc.
To achieve this goal, we propose a unified radiance field by introducing the
reflection probability and tracing rays following the light transport model of
Whitted Ray Tracing, and also develop several techniques to facilitate the
learning process. Experiments and comparisons on both synthetic and real
datasets demonstrate the superiority of our method. The code and supplementary
material are available on the project webpage:
https://zju3dv.github.io/Mirror-NeRF/.