GS^3: Iluminação Eficiente com Triplo Espalhamento Gaussiano

GS^3: Efficient Relighting with Triple Gaussian Splatting

October 15, 2024

Autores: Zoubin Bi, Yixin Zeng, Chong Zeng, Fan Pei, Xiang Feng, Kun Zhou, Hongzhi Wu

cs.AI

Resumo

Apresentamos uma representação baseada em Gaussianas espaciais e angulares e um processo de triplo espalhamento, para síntese de iluminação e visualização inovadoras em tempo real e de alta qualidade a partir de imagens de entrada multi-visualização iluminadas por vários pontos. Para descrever aparências complexas, empregamos uma função de reflectância eficaz para cada Gaussiana espacial, composta por uma componente lambertiana e uma mistura de Gaussianas angulares. Para gerar auto-sombras, espalhamos todas as Gaussianas espaciais em direção à fonte de luz para obter valores de sombra, os quais são refinados por um pequeno perceptron de múltiplas camadas. Para compensar outros efeitos como a iluminação global, outro modelo é treinado para calcular e adicionar uma tupla RGB por Gaussiana espacial. A eficácia de nossa representação é demonstrada em 30 amostras com ampla variação em geometria (de sólida a fofa) e aparência (de translúcida a anisotrópica), utilizando diferentes formas de dados de entrada, incluindo imagens renderizadas de objetos sintéticos/reconstruídos, fotografias capturadas com uma câmera portátil e flash, ou de um lightstage profissional. Alcançamos um tempo de treinamento de 40-70 minutos e uma velocidade de renderização de 90 fps em uma única GPU comum. Nossos resultados comparam-se favoravelmente com técnicas de ponta em termos de qualidade/desempenho. Nosso código e dados estão disponíveis publicamente em https://GSrelight.github.io/.

English

We present a spatial and angular Gaussian based representation and a triple splatting process, for real-time, high-quality novel lighting-and-view synthesis from multi-view point-lit input images. To describe complex appearance, we employ a Lambertian plus a mixture of angular Gaussians as an effective reflectance function for each spatial Gaussian. To generate self-shadow, we splat all spatial Gaussians towards the light source to obtain shadow values, which are further refined by a small multi-layer perceptron. To compensate for other effects like global illumination, another network is trained to compute and add a per-spatial-Gaussian RGB tuple. The effectiveness of our representation is demonstrated on 30 samples with a wide variation in geometry (from solid to fluffy) and appearance (from translucent to anisotropic), as well as using different forms of input data, including rendered images of synthetic/reconstructed objects, photographs captured with a handheld camera and a flash, or from a professional lightstage. We achieve a training time of 40-70 minutes and a rendering speed of 90 fps on a single commodity GPU. Our results compare favorably with state-of-the-art techniques in terms of quality/performance. Our code and data are publicly available at https://GSrelight.github.io/.