Gaussische Splatting met Gediscretiseerde SDF voor Herbelichtbare Assets

Gaussian Splatting with Discretized SDF for Relightable Assets

July 21, 2025

Auteurs: Zuo-Liang Zhu, Jian Yang, Beibei Wang

cs.AI

Samenvatting

3D Gaussian splatting (3DGS) heeft zijn gedetailleerde expressieve vermogen en zeer efficiënte renderingsnelheid aangetoond in de taak van novel view synthesis (NVS). De toepassing op inverse rendering blijft echter verschillende uitdagingen kennen, aangezien het discrete karakter van Gaussiaanse primitieven het moeilijk maakt om geometrie-beperkingen toe te passen. Recente werken introduceren het signed distance field (SDF) als een extra continue representatie om de geometrie gedefinieerd door Gaussiaanse primitieven te regulariseren. Dit verbetert de decompositiekwaliteit, maar gaat ten koste van een hoger geheugengebruik en een complexere training. In tegenstelling tot deze werken introduceren wij een gediscretiseerd SDF om het continue SDF op een discrete manier weer te geven door het te coderen binnen elke Gaussiaan met behulp van een bemonsterde waarde. Deze aanpak stelt ons in staat om het SDF te koppelen aan de Gaussiaanse doorzichtigheid via een SDF-naar-doorzichtigheidstransformatie, waardoor het mogelijk wordt om het SDF te renderen via splatting en de rekenkosten van ray marching te vermijden. De belangrijkste uitdaging is om de discrete samples te regulariseren zodat ze consistent zijn met het onderliggende SDF, aangezien de discrete representatie moeilijk gradient-gebaseerde beperkingen kan toepassen (bijv. Eikonal-verlies). Hiervoor projecteren we Gaussiaanse primitieven op de nul-niveau-set van het SDF en dwingen we af dat ze uitgelijnd zijn met het oppervlak dat door splatting wordt gegenereerd, namelijk een projectie-gebaseerd consistentieverlies. Dankzij het gediscretiseerde SDF bereikt onze methode een hogere herverlichtingskwaliteit, terwijl er geen extra geheugen nodig is buiten GS en complexe handmatig ontworpen optimalisatie wordt vermeden. De experimenten tonen aan dat onze methode de bestaande Gaussiaanse-gebaseerde inverse rendering-methoden overtreft. Onze code is beschikbaar op https://github.com/NK-CS-ZZL/DiscretizedSDF.

English

3D Gaussian splatting (3DGS) has shown its detailed expressive ability and highly efficient rendering speed in the novel view synthesis (NVS) task. The application to inverse rendering still faces several challenges, as the discrete nature of Gaussian primitives makes it difficult to apply geometry constraints. Recent works introduce the signed distance field (SDF) as an extra continuous representation to regularize the geometry defined by Gaussian primitives. It improves the decomposition quality, at the cost of increasing memory usage and complicating training. Unlike these works, we introduce a discretized SDF to represent the continuous SDF in a discrete manner by encoding it within each Gaussian using a sampled value. This approach allows us to link the SDF with the Gaussian opacity through an SDF-to-opacity transformation, enabling rendering the SDF via splatting and avoiding the computational cost of ray marching.The key challenge is to regularize the discrete samples to be consistent with the underlying SDF, as the discrete representation can hardly apply the gradient-based constraints (\eg Eikonal loss). For this, we project Gaussians onto the zero-level set of SDF and enforce alignment with the surface from splatting, namely a projection-based consistency loss. Thanks to the discretized SDF, our method achieves higher relighting quality, while requiring no extra memory beyond GS and avoiding complex manually designed optimization. The experiments reveal that our method outperforms existing Gaussian-based inverse rendering methods. Our code is available at https://github.com/NK-CS-ZZL/DiscretizedSDF.