Mirror-NeRF: Обучение нейронных полей излучения для зеркал с использованием трассировки лучей в стиле Уиттеда

Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing

August 7, 2023

Авторы: Junyi Zeng, Chong Bao, Rui Chen, Zilong Dong, Guofeng Zhang, Hujun Bao, Zhaopeng Cui

cs.AI

Аннотация

Недавно метод Neural Radiance Fields (NeRF) продемонстрировал значительные успехи в синтезе новых видов, реконструкции поверхностей и других задачах. Однако, поскольку в его конвейере рендеринга не учитывается физическое отражение, NeRF ошибочно воспринимает отражение в зеркале как отдельную виртуальную сцену, что приводит к неточной реконструкции зеркала и несогласованным отражениям в зеркале при многовидовом анализе. В данной статье мы представляем новый фреймворк нейронного рендеринга под названием Mirror-NeRF, который способен обучаться точной геометрии и отражениям зеркал, а также поддерживает различные приложения для манипуляции сценами с зеркалами, такие как добавление новых объектов или зеркал в сцену, синтез отражений этих новых объектов в зеркалах, управление шероховатостью зеркал и т.д. Для достижения этой цели мы предлагаем унифицированное поле излучения, вводя вероятность отражения и трассируя лучи в соответствии с моделью переноса света Whitted Ray Tracing, а также разрабатываем несколько техник для облегчения процесса обучения. Эксперименты и сравнения на синтетических и реальных наборах данных демонстрируют превосходство нашего метода. Код и дополнительные материалы доступны на странице проекта: https://zju3dv.github.io/Mirror-NeRF/.

English

Recently, Neural Radiance Fields (NeRF) has exhibited significant success in novel view synthesis, surface reconstruction, etc. However, since no physical reflection is considered in its rendering pipeline, NeRF mistakes the reflection in the mirror as a separate virtual scene, leading to the inaccurate reconstruction of the mirror and multi-view inconsistent reflections in the mirror. In this paper, we present a novel neural rendering framework, named Mirror-NeRF, which is able to learn accurate geometry and reflection of the mirror and support various scene manipulation applications with mirrors, such as adding new objects or mirrors into the scene and synthesizing the reflections of these new objects in mirrors, controlling mirror roughness, etc. To achieve this goal, we propose a unified radiance field by introducing the reflection probability and tracing rays following the light transport model of Whitted Ray Tracing, and also develop several techniques to facilitate the learning process. Experiments and comparisons on both synthetic and real datasets demonstrate the superiority of our method. The code and supplementary material are available on the project webpage: https://zju3dv.github.io/Mirror-NeRF/.