Гауссово размытие с дискретизированной SDF для переосвещаемых ассетов

Gaussian Splatting with Discretized SDF for Relightable Assets

July 21, 2025

Авторы: Zuo-Liang Zhu, Jian Yang, Beibei Wang

cs.AI

Аннотация

3D-гауссовское сглаживание (3DGS) продемонстрировало свою детализированную выразительность и высокую скорость рендеринга в задаче синтеза новых видов (NVS). Однако его применение в обратном рендеринге сталкивается с рядом трудностей, поскольку дискретная природа гауссовских примитивов затрудняет применение геометрических ограничений. В последних работах вводится поле знаковых расстояний (SDF) в качестве дополнительного непрерывного представления для регуляризации геометрии, определяемой гауссовскими примитивами. Это улучшает качество декомпозиции, но увеличивает использование памяти и усложняет обучение. В отличие от этих подходов, мы предлагаем дискретизированное SDF, представляющее непрерывное SDF в дискретной форме, кодируя его внутри каждого гауссовского примитива с помощью выборки. Этот метод позволяет связать SDF с непрозрачностью гауссовских примитивов через преобразование SDF-в-непрозрачность, что дает возможность рендеринга SDF с помощью сглаживания и избегает вычислительных затрат на трассировку лучей. Основная задача заключается в регуляризации дискретных выборок для их согласованности с базовым SDF, поскольку дискретное представление с трудом поддается градиентным ограничениям (например, потеря Эйконала). Для этого мы проецируем гауссовские примитивы на нулевой уровень SDF и обеспечиваем их выравнивание с поверхностью, полученной сглаживанием, с помощью проекционной функции потерь на согласованность. Благодаря дискретизированному SDF наш метод достигает более высокого качества переосвещения, не требуя дополнительной памяти помимо GS и избегая сложной ручной оптимизации. Эксперименты показывают, что наш метод превосходит существующие подходы к обратному рендерингу на основе гауссовских примитивов. Наш код доступен по адресу https://github.com/NK-CS-ZZL/DiscretizedSDF.

English

3D Gaussian splatting (3DGS) has shown its detailed expressive ability and highly efficient rendering speed in the novel view synthesis (NVS) task. The application to inverse rendering still faces several challenges, as the discrete nature of Gaussian primitives makes it difficult to apply geometry constraints. Recent works introduce the signed distance field (SDF) as an extra continuous representation to regularize the geometry defined by Gaussian primitives. It improves the decomposition quality, at the cost of increasing memory usage and complicating training. Unlike these works, we introduce a discretized SDF to represent the continuous SDF in a discrete manner by encoding it within each Gaussian using a sampled value. This approach allows us to link the SDF with the Gaussian opacity through an SDF-to-opacity transformation, enabling rendering the SDF via splatting and avoiding the computational cost of ray marching.The key challenge is to regularize the discrete samples to be consistent with the underlying SDF, as the discrete representation can hardly apply the gradient-based constraints (\eg Eikonal loss). For this, we project Gaussians onto the zero-level set of SDF and enforce alignment with the surface from splatting, namely a projection-based consistency loss. Thanks to the discretized SDF, our method achieves higher relighting quality, while requiring no extra memory beyond GS and avoiding complex manually designed optimization. The experiments reveal that our method outperforms existing Gaussian-based inverse rendering methods. Our code is available at https://github.com/NK-CS-ZZL/DiscretizedSDF.