GS^3: Iluminación eficiente con Triple Splatting Gaussiano

GS^3: Efficient Relighting with Triple Gaussian Splatting

October 15, 2024

Autores: Zoubin Bi, Yixin Zeng, Chong Zeng, Fan Pei, Xiang Feng, Kun Zhou, Hongzhi Wu

cs.AI

Resumen

Presentamos una representación basada en Gaussiana espacial y angular y un proceso de triple proyección, para la síntesis en tiempo real y de alta calidad de iluminación y vista novedosas a partir de imágenes de entrada iluminadas desde múltiples puntos de vista. Para describir apariencias complejas, empleamos una función de reflectancia efectiva para cada Gaussiana espacial, compuesta por Lambertiano y una mezcla de Gaussiana angular. Para generar auto-sombras, proyectamos todas las Gaussiana espaciales hacia la fuente de luz para obtener valores de sombra, los cuales son refinados por un pequeño perceptrón multicapa. Para compensar otros efectos como la iluminación global, se entrena otra red para calcular y añadir una tupla RGB por Gaussiana espacial. La efectividad de nuestra representación se demuestra en 30 muestras con una amplia variación en geometría (desde sólida hasta esponjosa) y apariencia (desde translúcida hasta anisotrópica), utilizando diferentes formas de datos de entrada, incluyendo imágenes renderizadas de objetos sintéticos/reconstruidos, fotografías capturadas con una cámara de mano y flash, o desde un lightstage profesional. Logramos un tiempo de entrenamiento de 40-70 minutos y una velocidad de renderizado de 90 fps en una única GPU de consumo. Nuestros resultados se comparan favorablemente con técnicas de vanguardia en términos de calidad/rendimiento. Nuestro código y datos están disponibles públicamente en https://GSrelight.github.io/.

English

We present a spatial and angular Gaussian based representation and a triple splatting process, for real-time, high-quality novel lighting-and-view synthesis from multi-view point-lit input images. To describe complex appearance, we employ a Lambertian plus a mixture of angular Gaussians as an effective reflectance function for each spatial Gaussian. To generate self-shadow, we splat all spatial Gaussians towards the light source to obtain shadow values, which are further refined by a small multi-layer perceptron. To compensate for other effects like global illumination, another network is trained to compute and add a per-spatial-Gaussian RGB tuple. The effectiveness of our representation is demonstrated on 30 samples with a wide variation in geometry (from solid to fluffy) and appearance (from translucent to anisotropic), as well as using different forms of input data, including rendered images of synthetic/reconstructed objects, photographs captured with a handheld camera and a flash, or from a professional lightstage. We achieve a training time of 40-70 minutes and a rendering speed of 90 fps on a single commodity GPU. Our results compare favorably with state-of-the-art techniques in terms of quality/performance. Our code and data are publicly available at https://GSrelight.github.io/.