RT-Splatting: Modelagem Conjunta de Reflexão e Transmissão com Splatting Gaussiano

Resumo

O 3D Gaussian Splatting (3DGS) possibilita a síntese de novas vistas em tempo real com alta qualidade visual. No entanto, os métodos existentes têm dificuldades com superfícies especulares semitransparentes que exibem tanto reflexões complexas quanto transmissão nítida, frequentemente produzindo reflexões borradas ou transmissão excessivamente ocluída. Para resolver isso, apresentamos o RT-Splatting, uma estrutura que desassocia a ocupação geométrica de cada Gaussiana de sua opacidade óptica. Essa fatoração resulta em uma representação unificada de cena superfície-volume com um único conjunto de primitivas Gaussianas. Nosso renderizador híbrido interpreta essa representação tanto como uma superfície para capturar reflexões de alta frequência quanto como um volume para preservar a transmissão nítida. Para mitigar a ambiguidade na otimização conjunta de reflexão e transmissão, introduzimos o Portão de Gradiente Consciente de Especularidade, que suprime gradientes enganosos oriundos de regiões altamente especulares no ramo de transmissão, reduzindo efetivamente flutuadores perturbadores. Experimentos em cenas semitransparentes desafiadoras mostram que o RT-Splatting alcança desempenho de ponta, entregando reflexões de alta fidelidade e transmissão nítida com renderização em tempo real. Além disso, nossa fatoração possibilita naturalmente edição flexível de cena. A página do projeto está disponível em https://sjj118.github.io/RT-Splatting.

English

3D Gaussian Splatting (3DGS) enables real-time novel view synthesis with high visual quality. However, existing methods struggle with semi-transparent specular surfaces that exhibit both complex reflections and clear transmission, often producing blurry reflections or overly occluded transmission. To address this, we present RT-Splatting, a framework that disentangles each Gaussian's geometric occupancy from its optical opacity. This factorization yields a unified surface-volume scene representation with a single set of Gaussian primitives. Our hybrid renderer interprets this representation both as a surface to capture high-frequency reflections and as a volume to preserve clear transmission. To mitigate the ambiguity in jointly optimizing reflection and transmission, we introduce Specular-Aware Gradient Gating, which suppresses misleading gradients from highly specular regions into the transmission branch, effectively reducing distracting floaters. Experiments on challenging semi-transparent scenes show that RT-Splatting achieves state-of-the-art performance, delivering high-fidelity reflections and clear transmission with real-time rendering. Moreover, our factorization naturally enables flexible scene editing. The project page is available at https://sjj118.github.io/RT-Splatting.