Dispersão Subsuperficial para Splatting Gaussiano em 3D

Subsurface Scattering for 3D Gaussian Splatting

August 22, 2024

Autores: Jan-Niklas Dihlmann, Arjun Majumdar, Andreas Engelhardt, Raphael Braun, Hendrik P. A. Lensch

cs.AI

Resumo

A reconstrução 3D e a reluzência de objetos feitos de materiais dispersivos representam um desafio significativo devido ao complexo transporte de luz sob a superfície. O Splatting Gaussiano 3D introduziu a síntese de novas visualizações de alta qualidade em tempo real. Enquanto os Gaussianos 3D aproximam eficientemente a superfície de um objeto, eles falham em capturar as propriedades volumétricas da dispersão subsuperficial. Propomos um framework para otimizar a forma de um objeto juntamente com o campo de transferência de radiância, considerando dados OLAT (um luz de cada vez) de múltiplas visualizações. Nosso método decompõe a cena em uma superfície explícita representada por Gaussianos 3D, com um BRDF variável espacialmente, e uma representação volumétrica implícita do componente de dispersão. Um campo de luz incidente aprendido considera o sombreamento. Otimizamos todos os parâmetros em conjunto via renderização diferenciável rastreada por raio. Nossa abordagem possibilita edição de material, reluzência e síntese de novas visualizações a taxas interativas. Demonstramos uma aplicação bem-sucedida em dados sintéticos e introduzimos um conjunto de dados multi-visual multi-luz recém-adquirido de objetos em um ambiente de estágio de luz. Em comparação com trabalhos anteriores, alcançamos resultados comparáveis ou melhores em uma fração do tempo de otimização e renderização, ao mesmo tempo que possibilitamos um controle detalhado sobre os atributos do material. Página do projeto: https://sss.jdihlmann.com/

English

3D reconstruction and relighting of objects made from scattering materials present a significant challenge due to the complex light transport beneath the surface. 3D Gaussian Splatting introduced high-quality novel view synthesis at real-time speeds. While 3D Gaussians efficiently approximate an object's surface, they fail to capture the volumetric properties of subsurface scattering. We propose a framework for optimizing an object's shape together with the radiance transfer field given multi-view OLAT (one light at a time) data. Our method decomposes the scene into an explicit surface represented as 3D Gaussians, with a spatially varying BRDF, and an implicit volumetric representation of the scattering component. A learned incident light field accounts for shadowing. We optimize all parameters jointly via ray-traced differentiable rendering. Our approach enables material editing, relighting and novel view synthesis at interactive rates. We show successful application on synthetic data and introduce a newly acquired multi-view multi-light dataset of objects in a light-stage setup. Compared to previous work we achieve comparable or better results at a fraction of optimization and rendering time while enabling detailed control over material attributes. Project page https://sss.jdihlmann.com/