Dispersión subsuperficial para la técnica de "splatting" gaussiano en 3D.

Subsurface Scattering for 3D Gaussian Splatting

August 22, 2024

Autores: Jan-Niklas Dihlmann, Arjun Majumdar, Andreas Engelhardt, Raphael Braun, Hendrik P. A. Lensch

cs.AI

Resumen

La reconstrucción en 3D y el reiluminado de objetos hechos de materiales dispersantes presentan un desafío significativo debido al complejo transporte de luz debajo de la superficie. El Splatting Gaussiano en 3D introdujo una síntesis de vista novedosa de alta calidad a velocidades en tiempo real. Si bien los Gaussianos en 3D aproximan eficientemente la superficie de un objeto, no logran capturar las propiedades volumétricas de la dispersión subsuperficial. Proponemos un marco para optimizar la forma de un objeto junto con el campo de transferencia de radiación dado un conjunto de datos OLAT (un solo haz de luz a la vez) de múltiples vistas. Nuestro método descompone la escena en una superficie explícita representada como Gaussianos en 3D, con un BRDF variable espacialmente, y una representación volumétrica implícita del componente de dispersión. Un campo de luz incidente aprendido tiene en cuenta el sombreado. Optimizamos todos los parámetros conjuntamente a través de un renderizado diferenciable trazado por rayos. Nuestro enfoque permite la edición de materiales, el reiluminado y la síntesis de nuevas vistas a tasas interactivas. Mostramos una aplicación exitosa en datos sintéticos e introducimos un conjunto de datos de múltiples vistas y múltiples luces adquirido recientemente de objetos en una configuración de escenario de luces. En comparación con trabajos anteriores, logramos resultados comparables o mejores en una fracción del tiempo de optimización y renderizado, al tiempo que permitimos un control detallado sobre los atributos del material. Página del proyecto: https://sss.jdihlmann.com/

English

3D reconstruction and relighting of objects made from scattering materials present a significant challenge due to the complex light transport beneath the surface. 3D Gaussian Splatting introduced high-quality novel view synthesis at real-time speeds. While 3D Gaussians efficiently approximate an object's surface, they fail to capture the volumetric properties of subsurface scattering. We propose a framework for optimizing an object's shape together with the radiance transfer field given multi-view OLAT (one light at a time) data. Our method decomposes the scene into an explicit surface represented as 3D Gaussians, with a spatially varying BRDF, and an implicit volumetric representation of the scattering component. A learned incident light field accounts for shadowing. We optimize all parameters jointly via ray-traced differentiable rendering. Our approach enables material editing, relighting and novel view synthesis at interactive rates. We show successful application on synthetic data and introduce a newly acquired multi-view multi-light dataset of objects in a light-stage setup. Compared to previous work we achieve comparable or better results at a fraction of optimization and rendering time while enabling detailed control over material attributes. Project page https://sss.jdihlmann.com/