Mirror-NeRF: ホイテッドスタイルのレイトレーシングを用いた鏡のためのニューラルラジアンスフィールドの学習
Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing
August 7, 2023
著者: Junyi Zeng, Chong Bao, Rui Chen, Zilong Dong, Guofeng Zhang, Hujun Bao, Zhaopeng Cui
cs.AI
要旨
近年、Neural Radiance Fields (NeRF) は新規視点合成や表面再構成などの分野で大きな成功を収めています。しかし、そのレンダリングパイプラインでは物理的な反射が考慮されていないため、NeRF は鏡の中の反射を別の仮想シーンと誤認し、鏡の不正確な再構成や、鏡内の多視点間で一貫しない反射を引き起こします。本論文では、Mirror-NeRF と名付けた新しいニューラルレンダリングフレームワークを提案します。このフレームワークは、鏡の正確な形状と反射を学習し、新しいオブジェクトや鏡をシーンに追加してそれらの反射を合成したり、鏡の粗さを制御するなど、鏡を用いた様々なシーン操作アプリケーションをサポートします。この目標を達成するために、反射確率を導入し、Whitted Ray Tracing の光輸送モデルに従って光線を追跡する統一された放射場を提案し、学習プロセスを促進するためのいくつかの技術を開発しました。合成データセットと実データセットの両方での実験と比較により、本手法の優位性が実証されています。コードと補足資料はプロジェクトのウェブページで公開されています: https://zju3dv.github.io/Mirror-NeRF/
English
Recently, Neural Radiance Fields (NeRF) has exhibited significant success in
novel view synthesis, surface reconstruction, etc. However, since no physical
reflection is considered in its rendering pipeline, NeRF mistakes the
reflection in the mirror as a separate virtual scene, leading to the inaccurate
reconstruction of the mirror and multi-view inconsistent reflections in the
mirror. In this paper, we present a novel neural rendering framework, named
Mirror-NeRF, which is able to learn accurate geometry and reflection of the
mirror and support various scene manipulation applications with mirrors, such
as adding new objects or mirrors into the scene and synthesizing the
reflections of these new objects in mirrors, controlling mirror roughness, etc.
To achieve this goal, we propose a unified radiance field by introducing the
reflection probability and tracing rays following the light transport model of
Whitted Ray Tracing, and also develop several techniques to facilitate the
learning process. Experiments and comparisons on both synthetic and real
datasets demonstrate the superiority of our method. The code and supplementary
material are available on the project webpage:
https://zju3dv.github.io/Mirror-NeRF/.