RT-Splatting: Совместное моделирование отражения и пропускания с помощью гауссова сплаттинга

Аннотация

3D Gaussian Splatting (3DGS) обеспечивает синтез новых видов в реальном времени с высоким визуальным качеством. Однако существующие методы испытывают трудности с полупрозрачными зеркальными поверхностями, которые демонстрируют как сложные отражения, так и четкое пропускание, часто давая размытые отражения или чрезмерно затененное пропускание. Для решения этой проблемы мы представляем RT-Splatting — фреймворк, который разделяет геометрическую занятость каждого гауссиана и его оптическую непрозрачность. Такая факторизация дает единое представление сцены «поверхность-объем» с одним набором гауссовых примитивов. Наш гибридный рендерер интерпретирует это представление и как поверхность для захвата высокочастотных отражений, и как объем для сохранения четкого пропускания. Чтобы уменьшить неоднозначность при совместной оптимизации отражения и пропускания, мы вводим «Зеркально-зависимое градиентное стробирование» (Specular-Aware Gradient Gating), которое подавляет вводящие в заблуждение градиенты из сильно зеркальных областей в ветвь пропускания, эффективно уменьшая количество отвлекающих артефактов. Эксперименты на сложных полупрозрачных сценах показывают, что RT-Splatting достигает передовой производительности, обеспечивая высококачественные отражения и четкое пропускание с рендерингом в реальном времени. Более того, наша факторизация естественным образом обеспечивает гибкое редактирование сцены. Страница проекта доступна по адресу https://sjj118.github.io/RT-Splatting.

English

3D Gaussian Splatting (3DGS) enables real-time novel view synthesis with high visual quality. However, existing methods struggle with semi-transparent specular surfaces that exhibit both complex reflections and clear transmission, often producing blurry reflections or overly occluded transmission. To address this, we present RT-Splatting, a framework that disentangles each Gaussian's geometric occupancy from its optical opacity. This factorization yields a unified surface-volume scene representation with a single set of Gaussian primitives. Our hybrid renderer interprets this representation both as a surface to capture high-frequency reflections and as a volume to preserve clear transmission. To mitigate the ambiguity in jointly optimizing reflection and transmission, we introduce Specular-Aware Gradient Gating, which suppresses misleading gradients from highly specular regions into the transmission branch, effectively reducing distracting floaters. Experiments on challenging semi-transparent scenes show that RT-Splatting achieves state-of-the-art performance, delivering high-fidelity reflections and clear transmission with real-time rendering. Moreover, our factorization naturally enables flexible scene editing. The project page is available at https://sjj118.github.io/RT-Splatting.