Scattering Sottosuperficiale per il 3D Gaussian Splatting

Subsurface Scattering for 3D Gaussian Splatting

August 22, 2024

Autori: Jan-Niklas Dihlmann, Arjun Majumdar, Andreas Engelhardt, Raphael Braun, Hendrik P. A. Lensch

cs.AI

Abstract

La ricostruzione 3D e la riluminazione di oggetti composti da materiali diffusivi rappresentano una sfida significativa a causa del complesso trasporto della luce al di sotto della superficie. Il metodo 3D Gaussian Splatting ha introdotto una sintesi di nuove viste di alta qualità a velocità in tempo reale. Sebbene le Gaussiane 3D approssimino efficacemente la superficie di un oggetto, non riescono a catturare le proprietà volumetriche della diffusione sottosuperficiale. Proponiamo un framework per ottimizzare la forma di un oggetto insieme al campo di trasferimento della radianza dati multi-vista OLAT (one light at a time). Il nostro metodo scompone la scena in una superficie esplicita rappresentata come Gaussiane 3D, con un BRDF variabile spazialmente, e una rappresentazione volumetrica implicita della componente di diffusione. Un campo di luce incidente appreso tiene conto dell'ombreggiatura. Ottimizziamo tutti i parametri congiuntamente tramite rendering differenziabile a raggi tracciati. Il nostro approccio consente l'editing dei materiali, la riluminazione e la sintesi di nuove viste a velocità interattive. Mostriamo un'applicazione riuscita su dati sintetici e introduciamo un nuovo dataset multi-vista multi-luce di oggetti in una configurazione light-stage. Rispetto ai lavori precedenti, otteniamo risultati comparabili o migliori in una frazione del tempo di ottimizzazione e rendering, consentendo un controllo dettagliato sugli attributi dei materiali. Pagina del progetto: https://sss.jdihlmann.com/

English

3D reconstruction and relighting of objects made from scattering materials present a significant challenge due to the complex light transport beneath the surface. 3D Gaussian Splatting introduced high-quality novel view synthesis at real-time speeds. While 3D Gaussians efficiently approximate an object's surface, they fail to capture the volumetric properties of subsurface scattering. We propose a framework for optimizing an object's shape together with the radiance transfer field given multi-view OLAT (one light at a time) data. Our method decomposes the scene into an explicit surface represented as 3D Gaussians, with a spatially varying BRDF, and an implicit volumetric representation of the scattering component. A learned incident light field accounts for shadowing. We optimize all parameters jointly via ray-traced differentiable rendering. Our approach enables material editing, relighting and novel view synthesis at interactive rates. We show successful application on synthetic data and introduce a newly acquired multi-view multi-light dataset of objects in a light-stage setup. Compared to previous work we achieve comparable or better results at a fraction of optimization and rendering time while enabling detailed control over material attributes. Project page https://sss.jdihlmann.com/