Gaußsches Splatting mit diskretisiertem SDF für neu beleuchtbare Assets

Gaussian Splatting with Discretized SDF for Relightable Assets

July 21, 2025

papers.authors: Zuo-Liang Zhu, Jian Yang, Beibei Wang

cs.AI

papers.abstract

3D-Gauß-Splatting (3DGS) hat seine detaillierte Ausdrucksfähigkeit und hohe Rendering-Geschwindigkeit in der Aufgabe der neuartigen Ansichtssynthese (Novel View Synthesis, NVS) unter Beweis gestellt. Die Anwendung auf das inverse Rendering steht jedoch vor mehreren Herausforderungen, da die diskrete Natur von Gauß-Primitiven die Anwendung geometrischer Beschränkungen erschwert. Neuere Arbeiten führen das Signed Distance Field (SDF) als zusätzliche kontinuierliche Darstellung ein, um die durch Gauß-Primitive definierte Geometrie zu regularisieren. Dies verbessert die Dekompositionsqualität, allerdings auf Kosten eines erhöhten Speicherverbrauchs und einer komplexeren Trainingsphase. Im Gegensatz zu diesen Ansätzen führen wir ein diskretisiertes SDF ein, das das kontinuierliche SDF in diskreter Form darstellt, indem es innerhalb jedes Gauß-Primitivs durch einen abgetasteten Wert kodiert wird. Dieser Ansatz ermöglicht es uns, das SDF über eine SDF-zu-Opazität-Transformation mit der Gauß-Opazität zu verknüpfen, wodurch das SDF durch Splatting gerendert werden kann und die rechenintensive Ray-Marching-Methode vermieden wird. Die zentrale Herausforderung besteht darin, die diskreten Stichproben so zu regularisieren, dass sie mit dem zugrunde liegenden SDF konsistent sind, da die diskrete Darstellung kaum gradientenbasierte Beschränkungen (z. B. Eikonal-Verlust) anwenden kann. Dazu projizieren wir Gauß-Primitive auf die Null-Level-Set des SDF und erzwingen eine Ausrichtung mit der Oberfläche aus dem Splatting, nämlich einen projektionsbasierten Konsistenzverlust. Dank des diskretisierten SDF erreicht unsere Methode eine höhere Qualität bei der Neubeleuchtung, während sie keinen zusätzlichen Speicher über das GS hinaus benötigt und komplexe manuell gestaltete Optimierungen vermeidet. Die Experimente zeigen, dass unsere Methode bestehende inverse Rendering-Methoden auf Gauß-Basis übertrifft. Unser Code ist unter https://github.com/NK-CS-ZZL/DiscretizedSDF verfügbar.

English

3D Gaussian splatting (3DGS) has shown its detailed expressive ability and highly efficient rendering speed in the novel view synthesis (NVS) task. The application to inverse rendering still faces several challenges, as the discrete nature of Gaussian primitives makes it difficult to apply geometry constraints. Recent works introduce the signed distance field (SDF) as an extra continuous representation to regularize the geometry defined by Gaussian primitives. It improves the decomposition quality, at the cost of increasing memory usage and complicating training. Unlike these works, we introduce a discretized SDF to represent the continuous SDF in a discrete manner by encoding it within each Gaussian using a sampled value. This approach allows us to link the SDF with the Gaussian opacity through an SDF-to-opacity transformation, enabling rendering the SDF via splatting and avoiding the computational cost of ray marching.The key challenge is to regularize the discrete samples to be consistent with the underlying SDF, as the discrete representation can hardly apply the gradient-based constraints (\eg Eikonal loss). For this, we project Gaussians onto the zero-level set of SDF and enforce alignment with the surface from splatting, namely a projection-based consistency loss. Thanks to the discretized SDF, our method achieves higher relighting quality, while requiring no extra memory beyond GS and avoiding complex manually designed optimization. The experiments reveal that our method outperforms existing Gaussian-based inverse rendering methods. Our code is available at https://github.com/NK-CS-ZZL/DiscretizedSDF.