GS^3: Эффективное изменение освещения с помощью тройного гауссовского сплетения.

GS^3: Efficient Relighting with Triple Gaussian Splatting

October 15, 2024

Авторы: Zoubin Bi, Yixin Zeng, Chong Zeng, Fan Pei, Xiang Feng, Kun Zhou, Hongzhi Wu

cs.AI

Аннотация

Мы представляем пространственное и угловое гауссовское представление и тройной процесс слияния для синтеза освещения и видов в реальном времени высокого качества из многоточечно освещенных изображений. Для описания сложного вида мы используем ламбертовскую функцию плюс смесь угловых гауссовских функций в качестве эффективной функции отражения для каждой пространственной гауссовской функции. Для создания самозатенения мы сливаем все пространственные гауссовские функции в направлении источника света для получения значений теней, которые затем уточняются с помощью небольшого многослойного персептрона. Для компенсации других эффектов, таких как глобальное освещение, другая сеть обучается для вычисления и добавления RGB-кортежа для каждой пространственной гауссовской функции. Эффективность нашего представления демонстрируется на 30 образцах с широким разнообразием геометрии (от твердой до пушистой) и вида (от прозрачного до анизотропного), а также с использованием различных форм входных данных, включая синтетические/восстановленные объекты, фотографии, сделанные с помощью ручной камеры и вспышки, или с профессионального светового стенда. Мы достигаем времени обучения от 40 до 70 минут и скорости визуализации 90 кадров в секунду на одном торговом GPU. Наши результаты сравнимы с передовыми техниками по качеству и производительности. Наш код и данные доступны публично по адресу https://GSrelight.github.io/.

English

We present a spatial and angular Gaussian based representation and a triple splatting process, for real-time, high-quality novel lighting-and-view synthesis from multi-view point-lit input images. To describe complex appearance, we employ a Lambertian plus a mixture of angular Gaussians as an effective reflectance function for each spatial Gaussian. To generate self-shadow, we splat all spatial Gaussians towards the light source to obtain shadow values, which are further refined by a small multi-layer perceptron. To compensate for other effects like global illumination, another network is trained to compute and add a per-spatial-Gaussian RGB tuple. The effectiveness of our representation is demonstrated on 30 samples with a wide variation in geometry (from solid to fluffy) and appearance (from translucent to anisotropic), as well as using different forms of input data, including rendered images of synthetic/reconstructed objects, photographs captured with a handheld camera and a flash, or from a professional lightstage. We achieve a training time of 40-70 minutes and a rendering speed of 90 fps on a single commodity GPU. Our results compare favorably with state-of-the-art techniques in terms of quality/performance. Our code and data are publicly available at https://GSrelight.github.io/.