GS^3: Effizientes Neubeleuchten mit dreifachem Gauss'schem Splatting

GS^3: Efficient Relighting with Triple Gaussian Splatting

October 15, 2024

Autoren: Zoubin Bi, Yixin Zeng, Chong Zeng, Fan Pei, Xiang Feng, Kun Zhou, Hongzhi Wu

cs.AI

Zusammenfassung

Wir präsentieren eine auf räumlichen und winkelbezogenen Gauß-Funktionen basierende Darstellung und einen dreifachen Splatting-Prozess für die Echtzeit-Synthese hochwertiger neuer Beleuchtungs- und Ansichtseffekte aus mehreren Ansichtspunkten beleuchteten Eingangsbildern. Zur Beschreibung komplexer Erscheinungsbilder verwenden wir eine lambertsche Funktion sowie eine Mischung aus winkelbezogenen Gauß-Funktionen als effektive Reflexionsfunktion für jede räumliche Gauß-Funktion. Um Selbstschatten zu erzeugen, splatten wir alle räumlichen Gauß-Funktionen in Richtung der Lichtquelle, um Schattenwerte zu erhalten, die durch ein kleines Multi-Layer-Perzeptron weiter verfeinert werden. Um andere Effekte wie globale Beleuchtung auszugleichen, wird ein weiteres Netzwerk trainiert, um ein pro-räumliche-Gauß-Funktion RGB-Tupel zu berechnen und hinzuzufügen. Die Effektivität unserer Darstellung wird anhand von 30 Beispielen mit einer breiten Variation in Geometrie (von massiv bis flauschig) und Erscheinungsbild (von durchscheinend bis anisotrop) sowie unter Verwendung verschiedener Formen von Eingabedaten demonstriert, einschließlich gerenderter Bilder von synthetischen/rekonstruierten Objekten, Fotos, die mit einer Handkamera und einem Blitz aufgenommen wurden, oder von einem professionellen Lichtbühne. Wir erreichen eine Trainingszeit von 40-70 Minuten und eine Rendergeschwindigkeit von 90 fps auf einer einzelnen handelsüblichen GPU. Unsere Ergebnisse stehen im Vergleich zu modernsten Techniken in Bezug auf Qualität/Leistung gut da. Unser Code und unsere Daten sind öffentlich verfügbar unter https://GSrelight.github.io/.

English

We present a spatial and angular Gaussian based representation and a triple splatting process, for real-time, high-quality novel lighting-and-view synthesis from multi-view point-lit input images. To describe complex appearance, we employ a Lambertian plus a mixture of angular Gaussians as an effective reflectance function for each spatial Gaussian. To generate self-shadow, we splat all spatial Gaussians towards the light source to obtain shadow values, which are further refined by a small multi-layer perceptron. To compensate for other effects like global illumination, another network is trained to compute and add a per-spatial-Gaussian RGB tuple. The effectiveness of our representation is demonstrated on 30 samples with a wide variation in geometry (from solid to fluffy) and appearance (from translucent to anisotropic), as well as using different forms of input data, including rendered images of synthetic/reconstructed objects, photographs captured with a handheld camera and a flash, or from a professional lightstage. We achieve a training time of 40-70 minutes and a rendering speed of 90 fps on a single commodity GPU. Our results compare favorably with state-of-the-art techniques in terms of quality/performance. Our code and data are publicly available at https://GSrelight.github.io/.