GES: Gegeneraliseerde Exponentiële Splatting voor Efficiënte Radiance Field Rendering

GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering

February 15, 2024

Auteurs: Abdullah Hamdi, Luke Melas-Kyriazi, Guocheng Qian, Jinjie Mai, Ruoshi Liu, Carl Vondrick, Bernard Ghanem, Andrea Vedaldi

cs.AI

Samenvatting

Vooruitgang in 3D Gaussian Splatting heeft 3D-reconstructie en -generatie aanzienlijk versneld. Het kan echter een groot aantal Gaussians vereisen, wat een aanzienlijke geheugenvoetafdruk creëert. Dit artikel introduceert GES (Generalized Exponential Splatting), een nieuwe representatie die gebruikmaakt van de Generalized Exponential Function (GEF) om 3D-scènes te modelleren, waardoor aanzienlijk minder deeltjes nodig zijn om een scène weer te geven en daardoor de efficiëntie van Gaussian Splatting-methoden aanzienlijk overtreft, met een plug-and-play vervangingsmogelijkheid voor Gaussian-gebaseerde utilities. GES wordt theoretisch en empirisch gevalideerd in zowel een principiële 1D-opstelling als realistische 3D-scènes. Het blijkt signalen met scherpe randen nauwkeuriger weer te geven, wat typisch uitdagend is voor Gaussians vanwege hun inherente laagdoorlaatkarakteristieken. Onze empirische analyse toont aan dat GEF Gaussians overtreft in het passen van natuurlijk voorkomende signalen (bijv. vierkanten, driehoeken en parabolische signalen), waardoor de noodzaak voor uitgebreide splitsingsoperaties die de geheugenvoetafdruk van Gaussian Splatting vergroten, wordt verminderd. Met behulp van een frequentiegemoduleerd verlies bereikt GES competitieve prestaties in benchmarks voor novel-view synthese, terwijl minder dan de helft van de geheugenopslag van Gaussian Splatting nodig is en de renderingsnelheid met tot 39% wordt verhoogd. De code is beschikbaar op de projectwebsite https://abdullahamdi.com/ges.

English

Advancements in 3D Gaussian Splatting have significantly accelerated 3D reconstruction and generation. However, it may require a large number of Gaussians, which creates a substantial memory footprint. This paper introduces GES (Generalized Exponential Splatting), a novel representation that employs Generalized Exponential Function (GEF) to model 3D scenes, requiring far fewer particles to represent a scene and thus significantly outperforming Gaussian Splatting methods in efficiency with a plug-and-play replacement ability for Gaussian-based utilities. GES is validated theoretically and empirically in both principled 1D setup and realistic 3D scenes. It is shown to represent signals with sharp edges more accurately, which are typically challenging for Gaussians due to their inherent low-pass characteristics. Our empirical analysis demonstrates that GEF outperforms Gaussians in fitting natural-occurring signals (e.g. squares, triangles, and parabolic signals), thereby reducing the need for extensive splitting operations that increase the memory footprint of Gaussian Splatting. With the aid of a frequency-modulated loss, GES achieves competitive performance in novel-view synthesis benchmarks while requiring less than half the memory storage of Gaussian Splatting and increasing the rendering speed by up to 39%. The code is available on the project website https://abdullahamdi.com/ges .