3Dガウススプラッティングにおけるサブサーフェス散乱

Subsurface Scattering for 3D Gaussian Splatting

August 22, 2024

著者: Jan-Niklas Dihlmann, Arjun Majumdar, Andreas Engelhardt, Raphael Braun, Hendrik P. A. Lensch

cs.AI

要旨

散乱材料から作られた物体の3D再構築と再照明は、表面下の複雑な光伝播により著しい課題を提供します。3Dガウススプラッティングは、リアルタイムの高品質な新しい視点合成を導入しました。3Dガウス関数はオブジェクトの表面を効率的に近似しますが、表面下の散乱の体積特性を捉えることができません。我々は、マルチビューのOLAT（一度に1つの光）データを用いて、オブジェクトの形状と放射輸送場を最適化するためのフレームワークを提案します。我々の手法は、シーンを3Dガウス関数で表現された明示的な表面と、空間的に変化するBRDF、および散乱成分の暗黙的な体積表現に分解します。学習された入射光場が影を考慮します。我々は、レイトレースされた微分可能なレンダリングを介してすべてのパラメータを共同で最適化します。当社のアプローチは、インタラクティブな速度での素材編集、再照明、および新しい視点合成を可能にします。我々は、合成データでの成功した応用と、ライトステージ設定内のオブジェクトの新たに取得したマルチビュー・マルチライトデータセットを紹介します。以前の研究と比較して、最適化およびレンダリング時間の一部で同等またはより良い結果を達成し、素材属性に対する詳細な制御を可能にします。プロジェクトページ https://sss.jdihlmann.com/

English

3D reconstruction and relighting of objects made from scattering materials present a significant challenge due to the complex light transport beneath the surface. 3D Gaussian Splatting introduced high-quality novel view synthesis at real-time speeds. While 3D Gaussians efficiently approximate an object's surface, they fail to capture the volumetric properties of subsurface scattering. We propose a framework for optimizing an object's shape together with the radiance transfer field given multi-view OLAT (one light at a time) data. Our method decomposes the scene into an explicit surface represented as 3D Gaussians, with a spatially varying BRDF, and an implicit volumetric representation of the scattering component. A learned incident light field accounts for shadowing. We optimize all parameters jointly via ray-traced differentiable rendering. Our approach enables material editing, relighting and novel view synthesis at interactive rates. We show successful application on synthetic data and introduce a newly acquired multi-view multi-light dataset of objects in a light-stage setup. Compared to previous work we achieve comparable or better results at a fraction of optimization and rendering time while enabling detailed control over material attributes. Project page https://sss.jdihlmann.com/