SpecNeRF: 鏡面反射のためのガウス方向符号化

要旨

ニューラルラジアンスフィールドは、3Dシーンの外観をモデル化する際に顕著な性能を発揮している。しかし、既存の手法は、特に室内環境の複雑な照明下での光沢面の視点依存的な外観に依然として苦戦している。既存の手法が通常、環境マップのような遠方照明を仮定するのに対し、我々は近接照明条件下での視点依存効果をより良くモデル化するために、学習可能なガウス方向エンコーディングを提案する。重要な点として、我々の新しい方向エンコーディングは、近接照明の空間的に変化する性質を捉え、事前フィルタリングされた環境マップの挙動を模倣する。その結果、任意の3D位置における粗さ係数が変化する場合でも、事前畳み込みされた鏡面反射色を効率的に評価することが可能となる。さらに、反射モデリングにおける形状と放射輝度の曖昧さを軽減するためのデータ駆動型ジオメトリ事前分布を導入する。我々は、ガウス方向エンコーディングとジオメトリ事前分布が、ニューラルラジアンスフィールドにおける困難な鏡面反射のモデル化を大幅に改善し、外観をより物理的に意味のある成分に分解するのに役立つことを示す。

English

Neural radiance fields have achieved remarkable performance in modeling the appearance of 3D scenes. However, existing approaches still struggle with the view-dependent appearance of glossy surfaces, especially under complex lighting of indoor environments. Unlike existing methods, which typically assume distant lighting like an environment map, we propose a learnable Gaussian directional encoding to better model the view-dependent effects under near-field lighting conditions. Importantly, our new directional encoding captures the spatially-varying nature of near-field lighting and emulates the behavior of prefiltered environment maps. As a result, it enables the efficient evaluation of preconvolved specular color at any 3D location with varying roughness coefficients. We further introduce a data-driven geometry prior that helps alleviate the shape radiance ambiguity in reflection modeling. We show that our Gaussian directional encoding and geometry prior significantly improve the modeling of challenging specular reflections in neural radiance fields, which helps decompose appearance into more physically meaningful components.

SpecNeRF: 鏡面反射のためのガウス方向符号化

SpecNeRF: Gaussian Directional Encoding for Specular Reflections

要旨

Support