RT-Splatting : Modélisation conjointe de la réflexion et de la transmission avec Gaussian Splatting

Résumé

La méthode 3D Gaussian Splatting (3DGS) permet une synthèse de vue novatrice en temps réel avec une qualité visuelle élevée. Cependant, les méthodes existantes rencontrent des difficultés avec les surfaces spéculaires semi-transparentes qui présentent à la fois des réflexions complexes et une transmission claire, produisant souvent des réflexions floues ou une transmission trop occultée. Pour y remédier, nous présentons RT-Splatting, un cadre qui dissocie l'occupation géométrique de chaque gaussienne de son opacité optique. Cette factorisation donne une représentation unifiée surface-volume de la scène avec un seul ensemble de primitives gaussiennes. Notre rendu hybride interprète cette représentation à la fois comme une surface pour capturer les réflexions haute fréquence et comme un volume pour préserver la transmission claire. Afin d'atténuer l'ambiguïté dans l'optimisation conjointe de la réflexion et de la transmission, nous introduisons le Filtrage de Gradient Sensible aux Spécularités, qui supprime les gradients trompeurs provenant des régions fortement spéculaires dans la branche de transmission, réduisant ainsi efficacement les artefacts flottants gênants. Les expériences sur des scènes semi-transparentes difficiles montrent que RT-Splatting atteint des performances de pointe, offrant des réflexions haute fidélité et une transmission claire avec un rendu en temps réel. De plus, notre factorisation permet naturellement une édition flexible des scènes. La page du projet est disponible à l'adresse https://sjj118.github.io/RT-Splatting.

English

3D Gaussian Splatting (3DGS) enables real-time novel view synthesis with high visual quality. However, existing methods struggle with semi-transparent specular surfaces that exhibit both complex reflections and clear transmission, often producing blurry reflections or overly occluded transmission. To address this, we present RT-Splatting, a framework that disentangles each Gaussian's geometric occupancy from its optical opacity. This factorization yields a unified surface-volume scene representation with a single set of Gaussian primitives. Our hybrid renderer interprets this representation both as a surface to capture high-frequency reflections and as a volume to preserve clear transmission. To mitigate the ambiguity in jointly optimizing reflection and transmission, we introduce Specular-Aware Gradient Gating, which suppresses misleading gradients from highly specular regions into the transmission branch, effectively reducing distracting floaters. Experiments on challenging semi-transparent scenes show that RT-Splatting achieves state-of-the-art performance, delivering high-fidelity reflections and clear transmission with real-time rendering. Moreover, our factorization naturally enables flexible scene editing. The project page is available at https://sjj118.github.io/RT-Splatting.