Untergrundstreuung für 3D-Gaußsplatting

Subsurface Scattering for 3D Gaussian Splatting

August 22, 2024

Autoren: Jan-Niklas Dihlmann, Arjun Majumdar, Andreas Engelhardt, Raphael Braun, Hendrik P. A. Lensch

cs.AI

Zusammenfassung

Die 3D-Rekonstruktion und Neubeleuchtung von Objekten aus streuenden Materialien stellen aufgrund des komplexen Lichttransports unter der Oberfläche eine bedeutende Herausforderung dar. 3D-Gauß-Splatting führte eine hochwertige neuartige Ansichtssynthese in Echtzeitgeschwindigkeit ein. Während 3D-Gaußs effizient die Oberfläche eines Objekts approximieren, erfassen sie nicht die volumetrischen Eigenschaften der Subsurfacedispersion. Wir schlagen ein Framework zur Optimierung der Form eines Objekts zusammen mit dem Strahlungstransferfeld vor, basierend auf Mehransichts-OLAT-Daten (eine Lichtquelle nach der anderen). Unsere Methode zerlegt die Szene in eine explizite Oberfläche, die durch 3D-Gaußs repräsentiert wird, mit einem räumlich variierenden BRDF, und eine implizite volumetrische Darstellung der Streukomponente. Ein erlerntes einfallendes Lichtfeld berücksichtigt Schattierungen. Wir optimieren alle Parameter gemeinsam über raytracingfähiges differentielles Rendern. Unser Ansatz ermöglicht Materialbearbeitung, Neubeleuchtung und neuartige Ansichtssynthese in interaktiven Geschwindigkeiten. Wir zeigen eine erfolgreiche Anwendung auf synthetischen Daten und stellen einen neu erworbenen Mehransichts-Mehrlicht-Datensatz von Objekten in einem Lichtbühnen-Setup vor. Im Vergleich zu früheren Arbeiten erzielen wir vergleichbare oder bessere Ergebnisse in einem Bruchteil der Optimierungs- und Rendierungszeit und ermöglichen gleichzeitig eine detaillierte Kontrolle über Materialeigenschaften. Projektpage: https://sss.jdihlmann.com/

English

3D reconstruction and relighting of objects made from scattering materials present a significant challenge due to the complex light transport beneath the surface. 3D Gaussian Splatting introduced high-quality novel view synthesis at real-time speeds. While 3D Gaussians efficiently approximate an object's surface, they fail to capture the volumetric properties of subsurface scattering. We propose a framework for optimizing an object's shape together with the radiance transfer field given multi-view OLAT (one light at a time) data. Our method decomposes the scene into an explicit surface represented as 3D Gaussians, with a spatially varying BRDF, and an implicit volumetric representation of the scattering component. A learned incident light field accounts for shadowing. We optimize all parameters jointly via ray-traced differentiable rendering. Our approach enables material editing, relighting and novel view synthesis at interactive rates. We show successful application on synthetic data and introduce a newly acquired multi-view multi-light dataset of objects in a light-stage setup. Compared to previous work we achieve comparable or better results at a fraction of optimization and rendering time while enabling detailed control over material attributes. Project page https://sss.jdihlmann.com/