Gaussian Splatting con SDF Discretizado para Activos Relumbrantes

Gaussian Splatting with Discretized SDF for Relightable Assets

July 21, 2025

Autores: Zuo-Liang Zhu, Jian Yang, Beibei Wang

cs.AI

Resumen

El splatting con Gaussianas 3D (3DGS) ha demostrado su capacidad expresiva detallada y su velocidad de renderizado altamente eficiente en la tarea de síntesis de nuevas vistas (NVS). Sin embargo, su aplicación al renderizado inverso aún enfrenta varios desafíos, ya que la naturaleza discreta de las primitivas Gaussianas dificulta la aplicación de restricciones geométricas. Trabajos recientes introducen el campo de distancia con signo (SDF) como una representación continua adicional para regularizar la geometría definida por las primitivas Gaussianas. Esto mejora la calidad de la descomposición, pero a costa de aumentar el uso de memoria y complicar el entrenamiento. A diferencia de estos trabajos, nosotros introducimos un SDF discretizado para representar el SDF continuo de manera discreta, codificándolo dentro de cada Gaussiana mediante un valor muestreado. Este enfoque nos permite vincular el SDF con la opacidad de la Gaussiana a través de una transformación de SDF a opacidad, lo que posibilita renderizar el SDF mediante splatting y evita el costo computacional del ray marching. El desafío principal es regularizar las muestras discretas para que sean consistentes con el SDF subyacente, ya que la representación discreta dificulta la aplicación de restricciones basadas en gradientes (por ejemplo, la pérdida Eikonal). Para ello, proyectamos las Gaussianas sobre el conjunto de nivel cero del SDF y forzamos la alineación con la superficie obtenida del splatting, mediante una pérdida de consistencia basada en proyección. Gracias al SDF discretizado, nuestro método logra una mayor calidad de reluminación, sin requerir memoria adicional más allá de la usada por GS y evitando optimizaciones complejas diseñadas manualmente. Los experimentos revelan que nuestro método supera a los métodos existentes de renderizado inverso basados en Gaussianas. Nuestro código está disponible en https://github.com/NK-CS-ZZL/DiscretizedSDF.

English

3D Gaussian splatting (3DGS) has shown its detailed expressive ability and highly efficient rendering speed in the novel view synthesis (NVS) task. The application to inverse rendering still faces several challenges, as the discrete nature of Gaussian primitives makes it difficult to apply geometry constraints. Recent works introduce the signed distance field (SDF) as an extra continuous representation to regularize the geometry defined by Gaussian primitives. It improves the decomposition quality, at the cost of increasing memory usage and complicating training. Unlike these works, we introduce a discretized SDF to represent the continuous SDF in a discrete manner by encoding it within each Gaussian using a sampled value. This approach allows us to link the SDF with the Gaussian opacity through an SDF-to-opacity transformation, enabling rendering the SDF via splatting and avoiding the computational cost of ray marching.The key challenge is to regularize the discrete samples to be consistent with the underlying SDF, as the discrete representation can hardly apply the gradient-based constraints (\eg Eikonal loss). For this, we project Gaussians onto the zero-level set of SDF and enforce alignment with the surface from splatting, namely a projection-based consistency loss. Thanks to the discretized SDF, our method achieves higher relighting quality, while requiring no extra memory beyond GS and avoiding complex manually designed optimization. The experiments reveal that our method outperforms existing Gaussian-based inverse rendering methods. Our code is available at https://github.com/NK-CS-ZZL/DiscretizedSDF.