RT-Splatting: Gemeinsame Modellierung von Reflexion und Transmission mit Gaussian Splatting

Zusammenfassung

3D Gaussian Splatting (3DGS) ermöglicht Echtzeit-Synthese neuer Ansichten mit hoher visueller Qualität. Bestehende Methoden haben jedoch Schwierigkeiten mit halbtransparenten spiegelnden Oberflächen, die sowohl komplexe Reflexionen als auch klare Transmission aufweisen, was oft zu unscharfen Reflexionen oder übermäßig verdeckter Transmission führt. Um dies zu adressieren, präsentieren wir RT-Splatting, ein Framework, das die geometrische Belegung jedes Gaußschen Elements von seiner optischen Opazität entkoppelt. Diese Faktorisierung ergibt eine einheitliche Oberflächen-Volumen-Szenenrepräsentation mit einem einzigen Satz von Gaußschen Primitiven. Unser hybrider Renderer interpretiert diese Repräsentation sowohl als Oberfläche zur Erfassung hochfrequenter Reflexionen als auch als Volumen zur Erhaltung klarer Transmission. Um die Mehrdeutigkeit bei der gemeinsamen Optimierung von Reflexion und Transmission zu mildern, führen wir das spekularitätsbewusste Gradienten-Gating (Specular-Aware Gradient Gating) ein, das irreführende Gradienten aus stark spekularen Regionen in den Transmissionszweig unterdrückt und störende Floater effektiv reduziert. Experimente an anspruchsvollen halbtransparenten Szenen zeigen, dass RT-Splatting den aktuellen Stand der Technik erreicht und hochgetreue Reflexionen sowie klare Transmission bei Echtzeit-Rendering liefert. Darüber hinaus ermöglicht unsere Faktorisierung auf natürliche Weise flexible Szenenbearbeitung. Die Projektseite ist verfügbar unter https://sjj118.github.io/RT-Splatting.

English

3D Gaussian Splatting (3DGS) enables real-time novel view synthesis with high visual quality. However, existing methods struggle with semi-transparent specular surfaces that exhibit both complex reflections and clear transmission, often producing blurry reflections or overly occluded transmission. To address this, we present RT-Splatting, a framework that disentangles each Gaussian's geometric occupancy from its optical opacity. This factorization yields a unified surface-volume scene representation with a single set of Gaussian primitives. Our hybrid renderer interprets this representation both as a surface to capture high-frequency reflections and as a volume to preserve clear transmission. To mitigate the ambiguity in jointly optimizing reflection and transmission, we introduce Specular-Aware Gradient Gating, which suppresses misleading gradients from highly specular regions into the transmission branch, effectively reducing distracting floaters. Experiments on challenging semi-transparent scenes show that RT-Splatting achieves state-of-the-art performance, delivering high-fidelity reflections and clear transmission with real-time rendering. Moreover, our factorization naturally enables flexible scene editing. The project page is available at https://sjj118.github.io/RT-Splatting.