GS^3 : Éclairage efficace avec triple étalement gaussien

GS^3: Efficient Relighting with Triple Gaussian Splatting

October 15, 2024

Auteurs: Zoubin Bi, Yixin Zeng, Chong Zeng, Fan Pei, Xiang Feng, Kun Zhou, Hongzhi Wu

cs.AI

Résumé

Nous présentons une représentation basée sur des Gaussiennes spatiales et angulaires ainsi qu'un processus de triple éclatement, pour la synthèse en temps réel et de haute qualité de l'éclairage et de la vue à partir d'images d'entrée multi-vues éclairées par des points. Pour décrire des apparences complexes, nous utilisons une fonction de réflectance efficace pour chaque Gaussienne spatiale, composée d'une partie lambertienne et d'un mélange de Gaussiennes angulaires. Pour générer les auto-ombres, nous éclatons toutes les Gaussiennes spatiales vers la source lumineuse afin d'obtenir des valeurs d'ombre, qui sont ensuite affinées par un petit perceptron multicouche. Pour compenser d'autres effets tels que l'illumination globale, un autre réseau est entraîné pour calculer et ajouter un tuple RVB par Gaussienne spatiale. L'efficacité de notre représentation est démontrée sur 30 échantillons présentant une large variation en termes de géométrie (de solide à moelleux) et d'apparence (de translucide à anisotrope), en utilisant différents types de données d'entrée, y compris des images rendues d'objets synthétiques/reconstruits, des photographies prises avec un appareil photo tenu à la main et un flash, ou provenant d'un lightstage professionnel. Nous atteignons un temps d'entraînement de 40 à 70 minutes et une vitesse de rendu de 90 images par seconde sur un seul GPU grand public. Nos résultats se comparent favorablement aux techniques de pointe en termes de qualité/de performance. Notre code et nos données sont disponibles publiquement sur https://GSrelight.github.io/.

English

We present a spatial and angular Gaussian based representation and a triple splatting process, for real-time, high-quality novel lighting-and-view synthesis from multi-view point-lit input images. To describe complex appearance, we employ a Lambertian plus a mixture of angular Gaussians as an effective reflectance function for each spatial Gaussian. To generate self-shadow, we splat all spatial Gaussians towards the light source to obtain shadow values, which are further refined by a small multi-layer perceptron. To compensate for other effects like global illumination, another network is trained to compute and add a per-spatial-Gaussian RGB tuple. The effectiveness of our representation is demonstrated on 30 samples with a wide variation in geometry (from solid to fluffy) and appearance (from translucent to anisotropic), as well as using different forms of input data, including rendered images of synthetic/reconstructed objects, photographs captured with a handheld camera and a flash, or from a professional lightstage. We achieve a training time of 40-70 minutes and a rendering speed of 90 fps on a single commodity GPU. Our results compare favorably with state-of-the-art techniques in terms of quality/performance. Our code and data are publicly available at https://GSrelight.github.io/.