Ondergrondse verstrooiing voor 3D Gaussiaans spatten

Subsurface Scattering for 3D Gaussian Splatting

August 22, 2024

Auteurs: Jan-Niklas Dihlmann, Arjun Majumdar, Andreas Engelhardt, Raphael Braun, Hendrik P. A. Lensch

cs.AI

Samenvatting

3D-reconstructie en herbelichting van objecten gemaakt van verstrooiende materialen vormen een aanzienlijke uitdaging vanwege het complexe lichttransport onder het oppervlak. 3D Gaussian Splatting introduceerde hoogwaardige synthese van nieuwe aanzichten in realtime. Hoewel 3D Gaussiaanse functies efficiënt het oppervlak van een object benaderen, slagen ze er niet in de volumetrische eigenschappen van onderoppervlakteverstrooiing vast te leggen. Wij stellen een raamwerk voor voor het optimaliseren van de vorm van een object samen met het radiatie- overdrachtsveld op basis van multi-view OLAT (one light at a time) gegevens. Onze methode deelt de scène op in een expliciet oppervlak gerepresenteerd als 3D Gaussiaanse functies, met een ruimtelijk variërende BRDF, en een impliciete volumetrische representatie van de verstrooiingscomponent. Een aangeleerd invallend lichtveld houdt rekening met schaduwwerking. We optimaliseren alle parameters gezamenlijk via differentieerbare rendering met ray-tracing. Onze aanpak maakt materiaalbewerking, herbelichting en synthese van nieuwe aanzichten mogelijk met interactieve snelheden. We tonen succesvolle toepassing op synthetische gegevens en introduceren een nieuw verworven multi-view multi- licht dataset van objecten in een lichtopstelling. In vergelijking met eerder werk behalen we vergelijkbare of betere resultaten met een fractie van de optimalisatie- en renderingtijd, terwijl we gedetailleerde controle over materiaaleigenschappen mogelijk maken. Projectpagina https://sss.jdihlmann.com/

English

3D reconstruction and relighting of objects made from scattering materials present a significant challenge due to the complex light transport beneath the surface. 3D Gaussian Splatting introduced high-quality novel view synthesis at real-time speeds. While 3D Gaussians efficiently approximate an object's surface, they fail to capture the volumetric properties of subsurface scattering. We propose a framework for optimizing an object's shape together with the radiance transfer field given multi-view OLAT (one light at a time) data. Our method decomposes the scene into an explicit surface represented as 3D Gaussians, with a spatially varying BRDF, and an implicit volumetric representation of the scattering component. A learned incident light field accounts for shadowing. We optimize all parameters jointly via ray-traced differentiable rendering. Our approach enables material editing, relighting and novel view synthesis at interactive rates. We show successful application on synthetic data and introduce a newly acquired multi-view multi-light dataset of objects in a light-stage setup. Compared to previous work we achieve comparable or better results at a fraction of optimization and rendering time while enabling detailed control over material attributes. Project page https://sss.jdihlmann.com/