Gaussian Splatting avec SDF discrétisé pour des actifs rééclairables

Gaussian Splatting with Discretized SDF for Relightable Assets

July 21, 2025

papers.authors: Zuo-Liang Zhu, Jian Yang, Beibei Wang

cs.AI

papers.abstract

Le splatting de Gaussiennes 3D (3DGS) a démontré sa capacité expressive détaillée et sa vitesse de rendu hautement efficace dans la tâche de synthèse de nouvelles vues (NVS). Son application au rendu inverse rencontre cependant plusieurs défis, car la nature discrète des primitives gaussiennes rend difficile l'application de contraintes géométriques. Des travaux récents introduisent le champ de distance signée (SDF) comme représentation continue supplémentaire pour régulariser la géométrie définie par les primitives gaussiennes. Cela améliore la qualité de la décomposition, au prix d'une augmentation de l'utilisation de la mémoire et d'une complexification de l'entraînement. Contrairement à ces travaux, nous introduisons un SDF discrétisé pour représenter le SDF continu de manière discrète en l'encodant dans chaque Gaussienne à l'aide d'une valeur échantillonnée. Cette approche nous permet de lier le SDF à l'opacité des Gaussiennes via une transformation SDF-vers-opacité, permettant de rendre le SDF par splatting et d'éviter le coût computationnel du ray marching. Le défi principal est de régulariser les échantillons discrets pour qu'ils soient cohérents avec le SDF sous-jacent, car la représentation discrète ne peut guère appliquer les contraintes basées sur le gradient (par exemple, la perte Eikonale). Pour cela, nous projetons les Gaussiennes sur l'ensemble de niveau zéro du SDF et forçons un alignement avec la surface issue du splatting, à travers une perte de cohérence basée sur la projection. Grâce au SDF discrétisé, notre méthode atteint une meilleure qualité de rééclairage, tout en ne nécessitant aucune mémoire supplémentaire au-delà de celle du GS et en évitant une optimisation complexe et manuellement conçue. Les expériences révèlent que notre méthode surpasse les méthodes existantes de rendu inverse basées sur les Gaussiennes. Notre code est disponible à l'adresse https://github.com/NK-CS-ZZL/DiscretizedSDF.

English

3D Gaussian splatting (3DGS) has shown its detailed expressive ability and highly efficient rendering speed in the novel view synthesis (NVS) task. The application to inverse rendering still faces several challenges, as the discrete nature of Gaussian primitives makes it difficult to apply geometry constraints. Recent works introduce the signed distance field (SDF) as an extra continuous representation to regularize the geometry defined by Gaussian primitives. It improves the decomposition quality, at the cost of increasing memory usage and complicating training. Unlike these works, we introduce a discretized SDF to represent the continuous SDF in a discrete manner by encoding it within each Gaussian using a sampled value. This approach allows us to link the SDF with the Gaussian opacity through an SDF-to-opacity transformation, enabling rendering the SDF via splatting and avoiding the computational cost of ray marching.The key challenge is to regularize the discrete samples to be consistent with the underlying SDF, as the discrete representation can hardly apply the gradient-based constraints (\eg Eikonal loss). For this, we project Gaussians onto the zero-level set of SDF and enforce alignment with the surface from splatting, namely a projection-based consistency loss. Thanks to the discretized SDF, our method achieves higher relighting quality, while requiring no extra memory beyond GS and avoiding complex manually designed optimization. The experiments reveal that our method outperforms existing Gaussian-based inverse rendering methods. Our code is available at https://github.com/NK-CS-ZZL/DiscretizedSDF.