再照明可能なアセットのための離散化SDFを用いたガウススプラッティング

Gaussian Splatting with Discretized SDF for Relightable Assets

July 21, 2025

著者: Zuo-Liang Zhu, Jian Yang, Beibei Wang

cs.AI

要旨

3Dガウシアンスプラッティング（3DGS）は、新規視点合成（NVS）タスクにおいて、その詳細な表現能力と高いレンダリング速度を示しています。しかし、逆レンダリングへの適用では、ガウシアンプリミティブの離散的な性質が幾何学的制約の適用を困難にするため、いくつかの課題が残っています。最近の研究では、符号付き距離場（SDF）を追加の連続表現として導入し、ガウシアンプリミティブによって定義される幾何学を正則化しています。これにより分解品質が向上しますが、メモリ使用量の増加とトレーニングの複雑化という代償を伴います。これらの研究とは異なり、我々は離散化されたSDFを導入し、各ガウシアン内にサンプル値をエンコードすることで連続SDFを離散的に表現します。このアプローチにより、SDFとガウシアンの不透明度をSDF-to-opacity変換を通じて関連付けることが可能となり、レイマーチングの計算コストを回避しつつ、スプラッティングによるSDFのレンダリングを実現します。主要な課題は、離散サンプルを基盤となるSDFと整合させることであり、離散表現では勾配ベースの制約（例：Eikonal損失）を適用することが難しいためです。これに対し、我々はガウシアンをSDFのゼロレベルセットに投影し、スプラッティングによる表面との整合を強制する、すなわち投影ベースの整合性損失を導入します。離散化されたSDFのおかげで、我々の手法はGSを超える追加メモリを必要とせず、複雑な手動設計の最適化を回避しつつ、より高い再照明品質を実現します。実験結果は、我々の手法が既存のガウシアンベースの逆レンダリング手法を上回ることを示しています。コードはhttps://github.com/NK-CS-ZZL/DiscretizedSDFで公開されています。

English

3D Gaussian splatting (3DGS) has shown its detailed expressive ability and highly efficient rendering speed in the novel view synthesis (NVS) task. The application to inverse rendering still faces several challenges, as the discrete nature of Gaussian primitives makes it difficult to apply geometry constraints. Recent works introduce the signed distance field (SDF) as an extra continuous representation to regularize the geometry defined by Gaussian primitives. It improves the decomposition quality, at the cost of increasing memory usage and complicating training. Unlike these works, we introduce a discretized SDF to represent the continuous SDF in a discrete manner by encoding it within each Gaussian using a sampled value. This approach allows us to link the SDF with the Gaussian opacity through an SDF-to-opacity transformation, enabling rendering the SDF via splatting and avoiding the computational cost of ray marching.The key challenge is to regularize the discrete samples to be consistent with the underlying SDF, as the discrete representation can hardly apply the gradient-based constraints (\eg Eikonal loss). For this, we project Gaussians onto the zero-level set of SDF and enforce alignment with the surface from splatting, namely a projection-based consistency loss. Thanks to the discretized SDF, our method achieves higher relighting quality, while requiring no extra memory beyond GS and avoiding complex manually designed optimization. The experiments reveal that our method outperforms existing Gaussian-based inverse rendering methods. Our code is available at https://github.com/NK-CS-ZZL/DiscretizedSDF.