GES : Splatting Exponentiel Généralisé pour le Rendement Efficace de Champs de Radiance

GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering

February 15, 2024

Auteurs: Abdullah Hamdi, Luke Melas-Kyriazi, Guocheng Qian, Jinjie Mai, Ruoshi Liu, Carl Vondrick, Bernard Ghanem, Andrea Vedaldi

cs.AI

Résumé

Les avancées dans le domaine du *3D Gaussian Splatting* ont considérablement accéléré la reconstruction et la génération 3D. Cependant, cette méthode peut nécessiter un grand nombre de Gaussiennes, ce qui engendre une empreinte mémoire importante. Cet article présente le GES (*Generalized Exponential Splatting*), une nouvelle représentation qui utilise la *Generalized Exponential Function* (GEF) pour modéliser des scènes 3D, nécessitant bien moins de particules pour représenter une scène et surpassant ainsi significativement les méthodes de *Gaussian Splatting* en termes d'efficacité, tout en offrant une capacité de remplacement *plug-and-play* pour les utilitaires basés sur les Gaussiennes. Le GES est validé théoriquement et empiriquement, à la fois dans un cadre 1D structuré et dans des scènes 3D réalistes. Il est démontré que le GES représente plus précisément les signaux aux contours nets, qui sont généralement difficiles à modéliser avec des Gaussiennes en raison de leurs caractéristiques inhérentes de filtrage passe-bas. Notre analyse empirique montre que la GEF surpasse les Gaussiennes dans l'ajustement des signaux naturels (par exemple, des carrés, des triangles et des signaux paraboliques), réduisant ainsi le besoin d'opérations de division étendues qui augmentent l'empreinte mémoire du *Gaussian Splatting*. Grâce à une fonction de perte modulée en fréquence, le GES atteint des performances compétitives dans les benchmarks de synthèse de nouvelles vues, tout en nécessitant moins de la moitié de la mémoire de stockage du *Gaussian Splatting* et en augmentant la vitesse de rendu jusqu'à 39 %. Le code est disponible sur le site du projet : https://abdullahamdi.com/ges.

English

Advancements in 3D Gaussian Splatting have significantly accelerated 3D reconstruction and generation. However, it may require a large number of Gaussians, which creates a substantial memory footprint. This paper introduces GES (Generalized Exponential Splatting), a novel representation that employs Generalized Exponential Function (GEF) to model 3D scenes, requiring far fewer particles to represent a scene and thus significantly outperforming Gaussian Splatting methods in efficiency with a plug-and-play replacement ability for Gaussian-based utilities. GES is validated theoretically and empirically in both principled 1D setup and realistic 3D scenes. It is shown to represent signals with sharp edges more accurately, which are typically challenging for Gaussians due to their inherent low-pass characteristics. Our empirical analysis demonstrates that GEF outperforms Gaussians in fitting natural-occurring signals (e.g. squares, triangles, and parabolic signals), thereby reducing the need for extensive splitting operations that increase the memory footprint of Gaussian Splatting. With the aid of a frequency-modulated loss, GES achieves competitive performance in novel-view synthesis benchmarks while requiring less than half the memory storage of Gaussian Splatting and increasing the rendering speed by up to 39%. The code is available on the project website https://abdullahamdi.com/ges .