RT-Splatting: Modelado conjunto de reflexión y transmisión con Gaussian Splatting

Resumen

El 3D Gaussian Splatting (3DGS) permite la síntesis de nuevas vistas en tiempo real con alta calidad visual. Sin embargo, los métodos existentes tienen dificultades con superficies especulares semitransparentes que presentan tanto reflejos complejos como transmisión clara, produciendo a menudo reflejos borrosos o una transmisión excesivamente ocluida. Para abordar esto, presentamos RT-Splatting, un marco que desacopla la ocupación geométrica de cada gaussiana de su opacidad óptica. Esta factorización produce una representación unificada de escenas de superficie-volumen con un solo conjunto de primitivas gaussianas. Nuestro renderizador híbrido interpreta esta representación tanto como una superficie para capturar reflejos de alta frecuencia como un volumen para preservar una transmisión clara. Para mitigar la ambigüedad en la optimización conjunta de reflexión y transmisión, introducimos el Specular-Aware Gradient Gating, que suprime los gradientes engañosos de regiones altamente especulares en la rama de transmisión, reduciendo eficazmente los molestos flotadores. Los experimentos en escenas semitransparentes desafiantes muestran que RT-Splatting alcanza un rendimiento de última generación, proporcionando reflejos de alta fidelidad y transmisión clara con renderizado en tiempo real. Además, nuestra factorización permite de forma natural una edición flexible de escenas. La página del proyecto está disponible en https://sjj118.github.io/RT-Splatting.

English

3D Gaussian Splatting (3DGS) enables real-time novel view synthesis with high visual quality. However, existing methods struggle with semi-transparent specular surfaces that exhibit both complex reflections and clear transmission, often producing blurry reflections or overly occluded transmission. To address this, we present RT-Splatting, a framework that disentangles each Gaussian's geometric occupancy from its optical opacity. This factorization yields a unified surface-volume scene representation with a single set of Gaussian primitives. Our hybrid renderer interprets this representation both as a surface to capture high-frequency reflections and as a volume to preserve clear transmission. To mitigate the ambiguity in jointly optimizing reflection and transmission, we introduce Specular-Aware Gradient Gating, which suppresses misleading gradients from highly specular regions into the transmission branch, effectively reducing distracting floaters. Experiments on challenging semi-transparent scenes show that RT-Splatting achieves state-of-the-art performance, delivering high-fidelity reflections and clear transmission with real-time rendering. Moreover, our factorization naturally enables flexible scene editing. The project page is available at https://sjj118.github.io/RT-Splatting.