GS^3: Illuminazione efficiente con triplo Gaussian Splatting

GS^3: Efficient Relighting with Triple Gaussian Splatting

October 15, 2024

Autori: Zoubin Bi, Yixin Zeng, Chong Zeng, Fan Pei, Xiang Feng, Kun Zhou, Hongzhi Wu

cs.AI

Abstract

Presentiamo una rappresentazione basata su Gaussiane spaziali e angolari e un processo di triplo splatting, per la sintesi in tempo reale e di alta qualità di illuminazione e vista innovative da immagini di input multi-view puntualmente illuminate. Per descrivere un aspetto complesso, utilizziamo una funzione di riflettanza efficace per ciascuna Gaussiana spaziale, composta da una componente lambertiana e una miscela di Gaussiane angolari. Per generare l'auto-ombreggiatura, splattiamo tutte le Gaussiane spaziali verso la sorgente luminosa per ottenere i valori dell'ombra, che vengono ulteriormente raffinati da un piccolo perceptron multi-strato. Per compensare altri effetti come l'illuminazione globale, un altro network è addestrato per calcolare e aggiungere una tupla RGB per ciascuna Gaussiana spaziale. L'efficacia della nostra rappresentazione è dimostrata su 30 campioni con ampia variazione nella geometria (da solida a soffice) e nell'aspetto (da traslucido ad anisotropico), utilizzando anche diverse forme di dati di input, tra cui immagini renderizzate di oggetti sintetici/ricostruiti, fotografie catturate con una fotocamera portatile e un flash, o provenienti da un lightstage professionale. Otteniamo un tempo di addestramento di 40-70 minuti e una velocità di rendering di 90 fps su una singola GPU di base. I nostri risultati si confrontano favorevolmente con le tecniche all'avanguardia in termini di qualità/prestazioni. Il nostro codice e i dati sono pubblicamente disponibili su https://GSrelight.github.io/.

English

We present a spatial and angular Gaussian based representation and a triple splatting process, for real-time, high-quality novel lighting-and-view synthesis from multi-view point-lit input images. To describe complex appearance, we employ a Lambertian plus a mixture of angular Gaussians as an effective reflectance function for each spatial Gaussian. To generate self-shadow, we splat all spatial Gaussians towards the light source to obtain shadow values, which are further refined by a small multi-layer perceptron. To compensate for other effects like global illumination, another network is trained to compute and add a per-spatial-Gaussian RGB tuple. The effectiveness of our representation is demonstrated on 30 samples with a wide variation in geometry (from solid to fluffy) and appearance (from translucent to anisotropic), as well as using different forms of input data, including rendered images of synthetic/reconstructed objects, photographs captured with a handheld camera and a flash, or from a professional lightstage. We achieve a training time of 40-70 minutes and a rendering speed of 90 fps on a single commodity GPU. Our results compare favorably with state-of-the-art techniques in terms of quality/performance. Our code and data are publicly available at https://GSrelight.github.io/.