재조명 가능한 자산을 위한 이산화된 SDF 기반 가우시안 스플래팅

Gaussian Splatting with Discretized SDF for Relightable Assets

July 21, 2025

저자: Zuo-Liang Zhu, Jian Yang, Beibei Wang

cs.AI

초록

3D 가우시안 스플래팅(3DGS)은 새로운 시점 합성(NVS) 작업에서 세밀한 표현 능력과 높은 렌더링 속도를 보여주었다. 그러나 역렌더링에의 적용은 여전히 여러 도전 과제에 직면해 있는데, 이는 가우시안 프리미티브의 이산적 특성으로 인해 기하학적 제약을 적용하기 어렵기 때문이다. 최근 연구들은 부호 거리 필드(SDF)를 추가적인 연속적 표현으로 도입하여 가우시안 프리미티브로 정의된 기하학을 정규화하고 있다. 이는 분해 품질을 향상시키지만, 메모리 사용량을 증가시키고 훈련 과정을 복잡하게 만드는 단점이 있다. 본 연구에서는 이러한 접근과 달리, 각 가우시안 내에서 샘플링된 값을 통해 연속적인 SDF를 이산적으로 표현하는 이산화된 SDF를 제안한다. 이 방법은 SDF를 가우시안 불투명도와 SDF-to-불투명도 변환을 통해 연결함으로써, 스플래팅을 통해 SDF를 렌더링하고 레이 마칭의 계산 비용을 피할 수 있게 한다. 주요 도전 과제는 이산화된 샘플들이 기저 SDF와 일관되도록 정규화하는 것인데, 이산적 표현은 기울기 기반 제약(예: Eikonal 손실)을 적용하기 어렵기 때문이다. 이를 위해, 우리는 가우시안을 SDF의 제로 레벨 집합에 투영하고 스플래팅으로부터 얻은 표면과의 정렬을 강제하는, 즉 투영 기반 일관성 손실을 적용한다. 이산화된 SDF 덕분에, 우리의 방법은 GS 이상의 추가 메모리를 요구하지 않으면서도 복잡한 수동 설계 최적화를 피하고 더 높은 재조명 품질을 달성한다. 실험 결과는 우리의 방법이 기존의 가우시안 기반 역렌더링 방법들을 능가함을 보여준다. 우리의 코드는 https://github.com/NK-CS-ZZL/DiscretizedSDF에서 확인할 수 있다.

English

3D Gaussian splatting (3DGS) has shown its detailed expressive ability and highly efficient rendering speed in the novel view synthesis (NVS) task. The application to inverse rendering still faces several challenges, as the discrete nature of Gaussian primitives makes it difficult to apply geometry constraints. Recent works introduce the signed distance field (SDF) as an extra continuous representation to regularize the geometry defined by Gaussian primitives. It improves the decomposition quality, at the cost of increasing memory usage and complicating training. Unlike these works, we introduce a discretized SDF to represent the continuous SDF in a discrete manner by encoding it within each Gaussian using a sampled value. This approach allows us to link the SDF with the Gaussian opacity through an SDF-to-opacity transformation, enabling rendering the SDF via splatting and avoiding the computational cost of ray marching.The key challenge is to regularize the discrete samples to be consistent with the underlying SDF, as the discrete representation can hardly apply the gradient-based constraints (\eg Eikonal loss). For this, we project Gaussians onto the zero-level set of SDF and enforce alignment with the surface from splatting, namely a projection-based consistency loss. Thanks to the discretized SDF, our method achieves higher relighting quality, while requiring no extra memory beyond GS and avoiding complex manually designed optimization. The experiments reveal that our method outperforms existing Gaussian-based inverse rendering methods. Our code is available at https://github.com/NK-CS-ZZL/DiscretizedSDF.