RT-Splatting: Gezamenlijke reflectie-transmissiemodellering met Gaussian Splatting

Samenvatting

3D Gaussian Splatting (3DGS) maakt real-time synthese van nieuwe aanzichten mogelijk met hoge visuele kwaliteit. Echter, bestaande methoden hebben moeite met semi-transparante spiegelende oppervlakken die zowel complexe reflecties als duidelijke transmissie vertonen, wat vaak leidt tot wazige reflecties of te veel occlusie van transmissie. Om dit aan te pakken presenteren wij RT-Splatting, een raamwerk dat de geometrische bezetting van elke Gaussian ontkoppelt van zijn optische opaciteit. Deze factorisatie resulteert in een uniforme oppervlakte-volume-scènevoorstelling met een enkele set Gaussian-primitieven. Onze hybride renderer interpreteert deze voorstelling zowel als een oppervlak om hoogfrequente reflecties vast te leggen als een volume om heldere transmissie te behouden. Om de ambiguïteit bij het gezamenlijk optimaliseren van reflectie en transmissie te verminderen, introduceren wij Specular-Aware Gradient Gating, dat misleidende gradienten uit sterk spiegelende gebieden in de transmissietak onderdrukt, waardoor afleidende "floaters" effectief worden gereduceerd. Experimenten op uitdagende semi-transparante scènes tonen aan dat RT-Splatting state-of-the-art prestaties levert, met hoogwaardige reflecties en heldere transmissie in real-time rendering. Bovendien maakt onze factorisatie flexibele scènebewerking mogelijk. De projectpagina is beschikbaar op https://sjj118.github.io/RT-Splatting.

English

3D Gaussian Splatting (3DGS) enables real-time novel view synthesis with high visual quality. However, existing methods struggle with semi-transparent specular surfaces that exhibit both complex reflections and clear transmission, often producing blurry reflections or overly occluded transmission. To address this, we present RT-Splatting, a framework that disentangles each Gaussian's geometric occupancy from its optical opacity. This factorization yields a unified surface-volume scene representation with a single set of Gaussian primitives. Our hybrid renderer interprets this representation both as a surface to capture high-frequency reflections and as a volume to preserve clear transmission. To mitigate the ambiguity in jointly optimizing reflection and transmission, we introduce Specular-Aware Gradient Gating, which suppresses misleading gradients from highly specular regions into the transmission branch, effectively reducing distracting floaters. Experiments on challenging semi-transparent scenes show that RT-Splatting achieves state-of-the-art performance, delivering high-fidelity reflections and clear transmission with real-time rendering. Moreover, our factorization naturally enables flexible scene editing. The project page is available at https://sjj118.github.io/RT-Splatting.