GES: Splatting Exponencial Generalizado para Renderização Eficiente de Campos de Radiação

GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering

February 15, 2024

Autores: Abdullah Hamdi, Luke Melas-Kyriazi, Guocheng Qian, Jinjie Mai, Ruoshi Liu, Carl Vondrick, Bernard Ghanem, Andrea Vedaldi

cs.AI

Resumo

Avanços no Splatting Gaussiano 3D aceleraram significativamente a reconstrução e geração 3D. No entanto, ele pode exigir um grande número de Gaussianas, o que cria uma pegada de memória substancial. Este artigo introduz o GES (Generalized Exponential Splatting), uma nova representação que emprega a Função Exponencial Generalizada (GEF) para modelar cenas 3D, exigindo muito menos partículas para representar uma cena e, assim, superando significativamente os métodos de Splatting Gaussiano em eficiência, com uma capacidade de substituição plug-and-play para utilitários baseados em Gaussianas. O GES é validado teórica e empiricamente tanto em configurações 1D fundamentais quanto em cenas 3D realistas. Demonstra-se que ele representa sinais com bordas afiadas com maior precisão, o que geralmente é desafiador para Gaussianas devido às suas características inerentemente de passa-baixa. Nossa análise empírica mostra que a GEF supera as Gaussianas no ajuste de sinais naturais (por exemplo, quadrados, triângulos e sinais parabólicos), reduzindo assim a necessidade de operações extensas de divisão que aumentam a pegada de memória do Splatting Gaussiano. Com o auxílio de uma perda modulada em frequência, o GES alcança desempenho competitivo em benchmarks de síntese de novas visões, exigindo menos da metade do armazenamento de memória do Splatting Gaussiano e aumentando a velocidade de renderização em até 39%. O código está disponível no site do projeto https://abdullahamdi.com/ges.

English

Advancements in 3D Gaussian Splatting have significantly accelerated 3D reconstruction and generation. However, it may require a large number of Gaussians, which creates a substantial memory footprint. This paper introduces GES (Generalized Exponential Splatting), a novel representation that employs Generalized Exponential Function (GEF) to model 3D scenes, requiring far fewer particles to represent a scene and thus significantly outperforming Gaussian Splatting methods in efficiency with a plug-and-play replacement ability for Gaussian-based utilities. GES is validated theoretically and empirically in both principled 1D setup and realistic 3D scenes. It is shown to represent signals with sharp edges more accurately, which are typically challenging for Gaussians due to their inherent low-pass characteristics. Our empirical analysis demonstrates that GEF outperforms Gaussians in fitting natural-occurring signals (e.g. squares, triangles, and parabolic signals), thereby reducing the need for extensive splitting operations that increase the memory footprint of Gaussian Splatting. With the aid of a frequency-modulated loss, GES achieves competitive performance in novel-view synthesis benchmarks while requiring less than half the memory storage of Gaussian Splatting and increasing the rendering speed by up to 39%. The code is available on the project website https://abdullahamdi.com/ges .