GES: Generalisiertes Exponentielles Splatting für effizientes Rendering von Radiance Fields

GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering

February 15, 2024

Autoren: Abdullah Hamdi, Luke Melas-Kyriazi, Guocheng Qian, Jinjie Mai, Ruoshi Liu, Carl Vondrick, Bernard Ghanem, Andrea Vedaldi

cs.AI

Zusammenfassung

Fortschritte im Bereich des 3D-Gaussian-Splatting haben die 3D-Rekonstruktion und -Generierung erheblich beschleunigt. Allerdings kann dies eine große Anzahl von Gaußschen Funktionen erfordern, was zu einem erheblichen Speicherbedarf führt. Dieses Papier stellt GES (Generalized Exponential Splatting) vor, eine neuartige Repräsentation, die die Generalized Exponential Function (GEF) zur Modellierung von 3D-Szenen einsetzt. Diese Methode benötigt weit weniger Partikel zur Darstellung einer Szene und übertrifft somit die Effizienz von Gaussian-Splatting-Methoden deutlich, wobei sie eine Plug-and-Play-Ersetzbarkeit für Gauß-basierte Werkzeuge bietet. GES wird sowohl theoretisch als auch empirisch in einem prinzipiellen 1D-Setup und in realistischen 3D-Szenen validiert. Es wird gezeigt, dass GES Signale mit scharfen Kanten präziser darstellen kann, was für Gaußsche Funktionen aufgrund ihrer inhärenten Tiefpasscharakteristik typischerweise eine Herausforderung darstellt. Unsere empirische Analyse zeigt, dass GEF Gaußsche Funktionen in der Anpassung natürlich auftretender Signale (z. B. Rechtecke, Dreiecke und parabolische Signale) übertrifft, wodurch der Bedarf an umfangreichen Splitting-Operationen reduziert wird, die den Speicherbedarf von Gaussian Splatting erhöhen. Mit Hilfe eines frequenzmodulierten Verlusts erreicht GES eine wettbewerbsfähige Leistung in Benchmarks zur Synthese neuer Ansichten, während weniger als die Hälfte des Speicherbedarfs von Gaussian Splatting benötigt wird und die Rendering-Geschwindigkeit um bis zu 39 % gesteigert wird. Der Code ist auf der Projektwebsite https://abdullahamdi.com/ges verfügbar.

English

Advancements in 3D Gaussian Splatting have significantly accelerated 3D reconstruction and generation. However, it may require a large number of Gaussians, which creates a substantial memory footprint. This paper introduces GES (Generalized Exponential Splatting), a novel representation that employs Generalized Exponential Function (GEF) to model 3D scenes, requiring far fewer particles to represent a scene and thus significantly outperforming Gaussian Splatting methods in efficiency with a plug-and-play replacement ability for Gaussian-based utilities. GES is validated theoretically and empirically in both principled 1D setup and realistic 3D scenes. It is shown to represent signals with sharp edges more accurately, which are typically challenging for Gaussians due to their inherent low-pass characteristics. Our empirical analysis demonstrates that GEF outperforms Gaussians in fitting natural-occurring signals (e.g. squares, triangles, and parabolic signals), thereby reducing the need for extensive splitting operations that increase the memory footprint of Gaussian Splatting. With the aid of a frequency-modulated loss, GES achieves competitive performance in novel-view synthesis benchmarks while requiring less than half the memory storage of Gaussian Splatting and increasing the rendering speed by up to 39%. The code is available on the project website https://abdullahamdi.com/ges .