NeRF-Casting: 一貫性のある反射を伴う視点依存の外観の改善

NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections

May 23, 2024

著者: Dor Verbin, Pratul P. Srinivasan, Peter Hedman, Ben Mildenhall, Benjamin Attal, Richard Szeliski, Jonathan T. Barron

cs.AI

要旨

ニューラルラジアンスフィールド（NeRF）は、通常、視点の変化に伴って外観が急速に変化する高度に鏡面反射する物体の再構築とレンダリングに苦戦する。最近の研究では、NeRFが遠方の環境照明の詳細な鏡面反射外観をレンダリングする能力が向上しているが、近接する内容の一貫した反射を合成することはできない。さらに、これらの技術は、放射輝度をモデル化するために大規模で計算コストの高いニューラルネットワークに依存しており、最適化とレンダリング速度を大幅に制限している。我々は、これらの問題をレイトレーシングに基づくアプローチで解決する：各カメラレイに沿った点での視点依存の放射輝度を高価なニューラルネットワークに問い合わせる代わりに、我々のモデルはこれらの点から反射レイを投射し、NeRF表現を通じてトレースし、小さな低コストのネットワークを使用して色にデコードされる特徴ベクトルをレンダリングする。我々のモデルが、光沢のある物体を含むシーンの視点合成において従来の手法を上回ること、そして現実世界のシーンでフォトリアルな鏡面反射外観と反射を合成できる唯一の既存のNeRF手法であることを実証し、最適化時間が現在の最先端の視点合成モデルと同等であることを示す。

English

Neural Radiance Fields (NeRFs) typically struggle to reconstruct and render highly specular objects, whose appearance varies quickly with changes in viewpoint. Recent works have improved NeRF's ability to render detailed specular appearance of distant environment illumination, but are unable to synthesize consistent reflections of closer content. Moreover, these techniques rely on large computationally-expensive neural networks to model outgoing radiance, which severely limits optimization and rendering speed. We address these issues with an approach based on ray tracing: instead of querying an expensive neural network for the outgoing view-dependent radiance at points along each camera ray, our model casts reflection rays from these points and traces them through the NeRF representation to render feature vectors which are decoded into color using a small inexpensive network. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing shiny objects, and that it is the only existing NeRF method that can synthesize photorealistic specular appearance and reflections in real-world scenes, while requiring comparable optimization time to current state-of-the-art view synthesis models.