Gaussian Splatting con SDF Discretizzato per Asset Rilluminabili

Gaussian Splatting with Discretized SDF for Relightable Assets

July 21, 2025

Autori: Zuo-Liang Zhu, Jian Yang, Beibei Wang

cs.AI

Abstract

Il 3D Gaussian splatting (3DGS) ha dimostrato una dettagliata capacità espressiva e una velocità di rendering altamente efficiente nel compito di sintesi di nuove viste (NVS). L'applicazione al rendering inverso affronta tuttavia diverse sfide, poiché la natura discreta delle primitive gaussiane rende difficile applicare vincoli geometrici. Recenti lavori introducono il campo delle distanze con segno (SDF) come rappresentazione continua aggiuntiva per regolarizzare la geometria definita dalle primitive gaussiane. Ciò migliora la qualità della decomposizione, al costo di un aumento dell'uso della memoria e di una maggiore complessità nell'addestramento. A differenza di questi approcci, noi introduciamo un SDF discretizzato per rappresentare l'SDF continuo in modo discreto, codificandolo all'interno di ogni gaussiana mediante un valore campionato. Questo metodo ci consente di collegare l'SDF con l'opacità gaussiana attraverso una trasformazione da SDF a opacità, permettendo il rendering dell'SDF tramite splatting ed evitando il costo computazionale del ray marching. La sfida principale è regolarizzare i campioni discreti affinché siano coerenti con l'SDF sottostante, poiché la rappresentazione discreta difficilmente può applicare vincoli basati su gradienti (ad esempio, la perdita Eikonale). A tal fine, proiettiamo le gaussiane sul livello zero dell'SDF e imponiamo un allineamento con la superficie ottenuta dallo splatting, definendo una perdita di consistenza basata sulla proiezione. Grazie all'SDF discretizzato, il nostro metodo raggiunge una qualità di rilievo superiore, senza richiedere memoria aggiuntiva oltre a quella del GS e evitando complesse ottimizzazioni progettate manualmente. Gli esperimenti dimostrano che il nostro metodo supera i metodi esistenti di rendering inverso basati su gaussiane. Il nostro codice è disponibile all'indirizzo https://github.com/NK-CS-ZZL/DiscretizedSDF.

English

3D Gaussian splatting (3DGS) has shown its detailed expressive ability and highly efficient rendering speed in the novel view synthesis (NVS) task. The application to inverse rendering still faces several challenges, as the discrete nature of Gaussian primitives makes it difficult to apply geometry constraints. Recent works introduce the signed distance field (SDF) as an extra continuous representation to regularize the geometry defined by Gaussian primitives. It improves the decomposition quality, at the cost of increasing memory usage and complicating training. Unlike these works, we introduce a discretized SDF to represent the continuous SDF in a discrete manner by encoding it within each Gaussian using a sampled value. This approach allows us to link the SDF with the Gaussian opacity through an SDF-to-opacity transformation, enabling rendering the SDF via splatting and avoiding the computational cost of ray marching.The key challenge is to regularize the discrete samples to be consistent with the underlying SDF, as the discrete representation can hardly apply the gradient-based constraints (\eg Eikonal loss). For this, we project Gaussians onto the zero-level set of SDF and enforce alignment with the surface from splatting, namely a projection-based consistency loss. Thanks to the discretized SDF, our method achieves higher relighting quality, while requiring no extra memory beyond GS and avoiding complex manually designed optimization. The experiments reveal that our method outperforms existing Gaussian-based inverse rendering methods. Our code is available at https://github.com/NK-CS-ZZL/DiscretizedSDF.