Gaussian Splatting com SDF Discretizado para Ativos Relumináveis

Gaussian Splatting with Discretized SDF for Relightable Assets

July 21, 2025

Autores: Zuo-Liang Zhu, Jian Yang, Beibei Wang

cs.AI

Resumo

O splatting 3D Gaussiano (3DGS) demonstrou sua capacidade expressiva detalhada e velocidade de renderização altamente eficiente na tarefa de síntese de novas vistas (NVS). A aplicação ao rendering inverso ainda enfrenta vários desafios, pois a natureza discreta dos primitivos Gaussianos dificulta a aplicação de restrições geométricas. Trabalhos recentes introduzem o campo de distância sinalizada (SDF) como uma representação contínua adicional para regularizar a geometria definida pelos primitivos Gaussianos. Isso melhora a qualidade da decomposição, ao custo de aumentar o uso de memória e complicar o treinamento. Diferentemente desses trabalhos, introduzimos um SDF discretizado para representar o SDF contínuo de forma discreta, codificando-o dentro de cada Gaussiano usando um valor amostrado. Essa abordagem nos permite vincular o SDF à opacidade Gaussiana por meio de uma transformação SDF-opacidade, permitindo renderizar o SDF via splatting e evitando o custo computacional do ray marching. O principal desafio é regularizar as amostras discretas para que sejam consistentes com o SDF subjacente, já que a representação discreta dificilmente pode aplicar restrições baseadas em gradiente (\eg, perda Eikonal). Para isso, projetamos Gaussianos no conjunto de nível zero do SDF e impomos o alinhamento com a superfície gerada pelo splatting, ou seja, uma perda de consistência baseada em projeção. Graças ao SDF discretizado, nosso método alcança maior qualidade de relighting, sem exigir memória adicional além do GS e evitando otimizações complexas projetadas manualmente. Os experimentos revelam que nosso método supera os métodos existentes de rendering inverso baseados em Gaussianos. Nosso código está disponível em https://github.com/NK-CS-ZZL/DiscretizedSDF.

English

3D Gaussian splatting (3DGS) has shown its detailed expressive ability and highly efficient rendering speed in the novel view synthesis (NVS) task. The application to inverse rendering still faces several challenges, as the discrete nature of Gaussian primitives makes it difficult to apply geometry constraints. Recent works introduce the signed distance field (SDF) as an extra continuous representation to regularize the geometry defined by Gaussian primitives. It improves the decomposition quality, at the cost of increasing memory usage and complicating training. Unlike these works, we introduce a discretized SDF to represent the continuous SDF in a discrete manner by encoding it within each Gaussian using a sampled value. This approach allows us to link the SDF with the Gaussian opacity through an SDF-to-opacity transformation, enabling rendering the SDF via splatting and avoiding the computational cost of ray marching.The key challenge is to regularize the discrete samples to be consistent with the underlying SDF, as the discrete representation can hardly apply the gradient-based constraints (\eg Eikonal loss). For this, we project Gaussians onto the zero-level set of SDF and enforce alignment with the surface from splatting, namely a projection-based consistency loss. Thanks to the discretized SDF, our method achieves higher relighting quality, while requiring no extra memory beyond GS and avoiding complex manually designed optimization. The experiments reveal that our method outperforms existing Gaussian-based inverse rendering methods. Our code is available at https://github.com/NK-CS-ZZL/DiscretizedSDF.