GES: Splatting Exponencial Generalizado para la Representación Eficiente de Campos de Radiancia

GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering

February 15, 2024

Autores: Abdullah Hamdi, Luke Melas-Kyriazi, Guocheng Qian, Jinjie Mai, Ruoshi Liu, Carl Vondrick, Bernard Ghanem, Andrea Vedaldi

cs.AI

Resumen

Los avances en el splatting con gaussianas 3D han acelerado significativamente la reconstrucción y generación 3D. Sin embargo, este método puede requerir un gran número de gaussianas, lo que genera una huella de memoria considerable. Este artículo presenta GES (Generalized Exponential Splatting), una representación novedosa que emplea la Función Exponencial Generalizada (GEF) para modelar escenas 3D, requiriendo un número mucho menor de partículas para representar una escena y superando así significativamente en eficiencia a los métodos de splatting con gaussianas, con la capacidad de reemplazo plug-and-play para utilidades basadas en gaussianas. GES se valida teórica y empíricamente tanto en configuraciones 1D fundamentales como en escenas 3D realistas. Se demuestra que GES representa señales con bordes nítidos de manera más precisa, lo cual suele ser un desafío para las gaussianas debido a sus características inherentes de paso bajo. Nuestro análisis empírico muestra que GEF supera a las gaussianas en el ajuste de señales de origen natural (por ejemplo, cuadrados, triángulos y señales parabólicas), reduciendo así la necesidad de operaciones extensivas de división que aumentan la huella de memoria del splatting con gaussianas. Con la ayuda de una función de pérdida modulada en frecuencia, GES logra un rendimiento competitivo en benchmarks de síntesis de nuevas vistas, requiriendo menos de la mitad del almacenamiento de memoria del splatting con gaussianas y aumentando la velocidad de renderizado hasta en un 39%. El código está disponible en el sitio web del proyecto https://abdullahamdi.com/ges.

English

Advancements in 3D Gaussian Splatting have significantly accelerated 3D reconstruction and generation. However, it may require a large number of Gaussians, which creates a substantial memory footprint. This paper introduces GES (Generalized Exponential Splatting), a novel representation that employs Generalized Exponential Function (GEF) to model 3D scenes, requiring far fewer particles to represent a scene and thus significantly outperforming Gaussian Splatting methods in efficiency with a plug-and-play replacement ability for Gaussian-based utilities. GES is validated theoretically and empirically in both principled 1D setup and realistic 3D scenes. It is shown to represent signals with sharp edges more accurately, which are typically challenging for Gaussians due to their inherent low-pass characteristics. Our empirical analysis demonstrates that GEF outperforms Gaussians in fitting natural-occurring signals (e.g. squares, triangles, and parabolic signals), thereby reducing the need for extensive splitting operations that increase the memory footprint of Gaussian Splatting. With the aid of a frequency-modulated loss, GES achieves competitive performance in novel-view synthesis benchmarks while requiring less than half the memory storage of Gaussian Splatting and increasing the rendering speed by up to 39%. The code is available on the project website https://abdullahamdi.com/ges .