RT-스플래팅: 가우시안 스플래팅을 활용한 반사-투과 결합 모델링

초록

3D Gaussian Splatting(3DGS)은 높은 시각적 품질로 실시간 새로운 시점 합성을 가능하게 한다. 그러나 기존 방법들은 복잡한 반사와 명확한 투과를 동시에 보이는 반투명 거울 표면을 다루는 데 어려움을 겪으며, 종종 흐릿한 반사나 과도하게 가려진 투과를 생성한다. 이를 해결하기 위해, 우리는 각 가우시안의 기하학적 점유와 광학적 불투명도를 분리하는 프레임워크인 RT-Splatting을 제시한다. 이 분해는 단일 가우시안 프리미티브 집합으로 통합된 표면-체적 장면 표현을 생성한다. 우리의 하이브리드 렌더러는 이 표현을 고주파 반사를 포착하기 위한 표면으로, 그리고 명확한 투과를 보존하기 위한 체적으로 해석한다. 반사와 투과의 공동 최적화에서의 모호성을 완화하기 위해, 우리는 Specular-Aware Gradient Gating을 도입한다. 이는 고도로 반사되는 영역에서 투과 브랜치로 전달되는 오해의 소지가 있는 그래디언트를 억제하여 방해가 되는 플로터를 효과적으로 줄인다. 도전적인 반투명 장면에 대한 실험은 RT-Splatting이 최첨단 성능을 달성하여 실시간 렌더링으로 높은 충실도의 반사와 명확한 투과를 제공함을 보여준다. 또한, 우리의 분해는 자연스럽게 유연한 장면 편집을 가능하게 한다. 프로젝트 페이지는 https://sjj118.github.io/RT-Splatting 에서 확인할 수 있다.

English

3D Gaussian Splatting (3DGS) enables real-time novel view synthesis with high visual quality. However, existing methods struggle with semi-transparent specular surfaces that exhibit both complex reflections and clear transmission, often producing blurry reflections or overly occluded transmission. To address this, we present RT-Splatting, a framework that disentangles each Gaussian's geometric occupancy from its optical opacity. This factorization yields a unified surface-volume scene representation with a single set of Gaussian primitives. Our hybrid renderer interprets this representation both as a surface to capture high-frequency reflections and as a volume to preserve clear transmission. To mitigate the ambiguity in jointly optimizing reflection and transmission, we introduce Specular-Aware Gradient Gating, which suppresses misleading gradients from highly specular regions into the transmission branch, effectively reducing distracting floaters. Experiments on challenging semi-transparent scenes show that RT-Splatting achieves state-of-the-art performance, delivering high-fidelity reflections and clear transmission with real-time rendering. Moreover, our factorization naturally enables flexible scene editing. The project page is available at https://sjj118.github.io/RT-Splatting.