Diffusion de la lumière en profondeur pour le rendu de Gauss en 3D

Subsurface Scattering for 3D Gaussian Splatting

August 22, 2024

Auteurs: Jan-Niklas Dihlmann, Arjun Majumdar, Andreas Engelhardt, Raphael Braun, Hendrik P. A. Lensch

cs.AI

Résumé

La reconstruction 3D et le reéclairage d'objets fabriqués à partir de matériaux diffusants présentent un défi significatif en raison du transport de lumière complexe sous la surface. Le Splatting Gaussien en 3D a introduit une synthèse de nouvelle vue de haute qualité à des vitesses en temps réel. Bien que les Gaussiennes en 3D approximent efficacement la surface d'un objet, elles échouent à capturer les propriétés volumétriques de la diffusion sous-surface. Nous proposons un cadre pour optimiser la forme d'un objet conjointement avec le champ de transfert de radiance étant donné des données OLAT multi-vues (une lumière à la fois). Notre méthode décompose la scène en une surface explicite représentée par des Gaussiennes en 3D, avec un BRDF variant spatialement, et une représentation volumétrique implicite de la composante de diffusion. Un champ lumineux incident appris tient compte de l'ombrage. Nous optimisons tous les paramètres conjointement via un rendu différentiable tracé par rayons. Notre approche permet l'édition de matériaux, le reéclairage et la synthèse de nouvelles vues à des taux interactifs. Nous montrons une application réussie sur des données synthétiques et introduisons un ensemble de données multi-vues multi-lumière nouvellement acquis d'objets dans une configuration de scène lumineuse. Par rapport aux travaux précédents, nous obtenons des résultats comparables ou meilleurs en une fraction du temps d'optimisation et de rendu, tout en permettant un contrôle détaillé sur les attributs des matériaux. Page du projet https://sss.jdihlmann.com/

English

3D reconstruction and relighting of objects made from scattering materials present a significant challenge due to the complex light transport beneath the surface. 3D Gaussian Splatting introduced high-quality novel view synthesis at real-time speeds. While 3D Gaussians efficiently approximate an object's surface, they fail to capture the volumetric properties of subsurface scattering. We propose a framework for optimizing an object's shape together with the radiance transfer field given multi-view OLAT (one light at a time) data. Our method decomposes the scene into an explicit surface represented as 3D Gaussians, with a spatially varying BRDF, and an implicit volumetric representation of the scattering component. A learned incident light field accounts for shadowing. We optimize all parameters jointly via ray-traced differentiable rendering. Our approach enables material editing, relighting and novel view synthesis at interactive rates. We show successful application on synthetic data and introduce a newly acquired multi-view multi-light dataset of objects in a light-stage setup. Compared to previous work we achieve comparable or better results at a fraction of optimization and rendering time while enabling detailed control over material attributes. Project page https://sss.jdihlmann.com/