サブサーフェス散乱を考慮したニューラルリライティング：放射輝度伝達勾配の学習によるアプローチ

Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient

June 15, 2023

著者: Shizhan Zhu, Shunsuke Saito, Aljaz Bozic, Carlos Aliaga, Trevor Darrell, Christop Lassner

cs.AI

要旨

様々な照明条件下での物体やシーンの再構築とリライティングは困難な課題です。既存のニューラルレンダリング手法では、材料と光の複雑な相互作用を扱うことができない場合が多く見られます。事前計算された放射伝達技術を取り入れることでグローバルイルミネーションを実現できますが、表面下散乱効果を持つ材料には依然として苦戦しています。本研究では、ボリュームレンダリングを通じて放射伝達場を学習し、様々な外観の手がかりを活用してジオメトリをエンドツーエンドで洗練する新しいフレームワークを提案します。このフレームワークは、リライティングと再構築の能力を拡張し、データ駆動型のアプローチでより広範な材料を扱えるようにします。結果として得られるモデルは、既存および新しい条件下で説得力のあるレンダリング結果を生成します。私たちは、コードと表面下散乱効果を持つ物体の新しいライトステージデータセットを公開する予定です。

English

Reconstructing and relighting objects and scenes under varying lighting conditions is challenging: existing neural rendering methods often cannot handle the complex interactions between materials and light. Incorporating pre-computed radiance transfer techniques enables global illumination, but still struggles with materials with subsurface scattering effects. We propose a novel framework for learning the radiance transfer field via volume rendering and utilizing various appearance cues to refine geometry end-to-end. This framework extends relighting and reconstruction capabilities to handle a wider range of materials in a data-driven fashion. The resulting models produce plausible rendering results in existing and novel conditions. We will release our code and a novel light stage dataset of objects with subsurface scattering effects publicly available.