RT-Splatting: ガウシアンスプラッティングによる反射と透過の同時モデリング

要旨

3Dガウシアンスプラッティング（3DGS）は、高画質なリアルタイム新規視点合成を実現する。しかし、既存手法は複雑な反射と明確な透過を併せ持つ半透明の鏡面表面に対して苦戦し、しばしばぼやけた反射や過度に遮蔽された透過を生じる。この問題に対処するため、我々は各ガウシアンの幾何学的占有と光学的不透明度を分離するフレームワーク「RT-Splatting」を提案する。この因子分解により、単一のガウシアン基本要素セットを用いた統一的な表面・体積シーン表現が得られる。我々のハイブリッドレンダラは、この表現を高周波反射を捉える表面として、また明確な透過を保持する体積として、同時に解釈する。反射と透過の協調最適化における曖昧性を軽減するため、我々は「鏡面認識勾配ゲーティング」を導入する。これは、高い鏡面性を持つ領域からの誤った勾配が透過ブランチに流入するのを抑制し、散乱するフローターを効果的に低減する。挑戦的な半透明シーンの実験において、RT-Splattingは最先端の性能を達成し、リアルタイムレンダリングで高忠実度の反射と明確な透過を提供する。さらに、我々の因子分解は柔軟なシーン編集を自然に可能にする。プロジェクトページはhttps://sjj118.github.io/RT-Splattingで公開されている。

English

3D Gaussian Splatting (3DGS) enables real-time novel view synthesis with high visual quality. However, existing methods struggle with semi-transparent specular surfaces that exhibit both complex reflections and clear transmission, often producing blurry reflections or overly occluded transmission. To address this, we present RT-Splatting, a framework that disentangles each Gaussian's geometric occupancy from its optical opacity. This factorization yields a unified surface-volume scene representation with a single set of Gaussian primitives. Our hybrid renderer interprets this representation both as a surface to capture high-frequency reflections and as a volume to preserve clear transmission. To mitigate the ambiguity in jointly optimizing reflection and transmission, we introduce Specular-Aware Gradient Gating, which suppresses misleading gradients from highly specular regions into the transmission branch, effectively reducing distracting floaters. Experiments on challenging semi-transparent scenes show that RT-Splatting achieves state-of-the-art performance, delivering high-fidelity reflections and clear transmission with real-time rendering. Moreover, our factorization naturally enables flexible scene editing. The project page is available at https://sjj118.github.io/RT-Splatting.