GES: Splatting Esponenziale Generalizzato per il Rendering Efficiente dei Campi di Radianza

GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering

February 15, 2024

Autori: Abdullah Hamdi, Luke Melas-Kyriazi, Guocheng Qian, Jinjie Mai, Ruoshi Liu, Carl Vondrick, Bernard Ghanem, Andrea Vedaldi

cs.AI

Abstract

I progressi nel 3D Gaussian Splatting hanno accelerato significativamente la ricostruzione e la generazione 3D. Tuttavia, questo approccio può richiedere un numero elevato di Gaussiane, il che comporta un'impronta di memoria considerevole. Questo articolo introduce GES (Generalized Exponential Splatting), una nuova rappresentazione che utilizza la Funzione Esponenziale Generalizzata (GEF) per modellare scene 3D, richiedendo un numero molto inferiore di particelle per rappresentare una scena e superando così significativamente i metodi basati su Gaussian Splatting in termini di efficienza, con la capacità di sostituzione plug-and-play per strumenti basati su Gaussiane. GES è validato sia teoricamente che empiricamente sia in configurazioni 1D di principio che in scene 3D realistiche. È dimostrato che GES rappresenta con maggiore precisione i segnali con bordi netti, che tipicamente rappresentano una sfida per le Gaussiane a causa delle loro caratteristiche intrinseche di filtro passa-basso. La nostra analisi empirica dimostra che GEF supera le Gaussiane nell'adattamento a segnali naturali (ad esempio, quadrati, triangoli e segnali parabolici), riducendo così la necessità di operazioni di splitting estensive che aumentano l'impronta di memoria del Gaussian Splatting. Con l'aiuto di una funzione di perdita modulata in frequenza, GES raggiunge prestazioni competitive nei benchmark di sintesi di nuove viste, richiedendo meno della metà della memoria di archiviazione rispetto al Gaussian Splatting e aumentando la velocità di rendering fino al 39%. Il codice è disponibile sul sito web del progetto https://abdullahamdi.com/ges.

English

Advancements in 3D Gaussian Splatting have significantly accelerated 3D reconstruction and generation. However, it may require a large number of Gaussians, which creates a substantial memory footprint. This paper introduces GES (Generalized Exponential Splatting), a novel representation that employs Generalized Exponential Function (GEF) to model 3D scenes, requiring far fewer particles to represent a scene and thus significantly outperforming Gaussian Splatting methods in efficiency with a plug-and-play replacement ability for Gaussian-based utilities. GES is validated theoretically and empirically in both principled 1D setup and realistic 3D scenes. It is shown to represent signals with sharp edges more accurately, which are typically challenging for Gaussians due to their inherent low-pass characteristics. Our empirical analysis demonstrates that GEF outperforms Gaussians in fitting natural-occurring signals (e.g. squares, triangles, and parabolic signals), thereby reducing the need for extensive splitting operations that increase the memory footprint of Gaussian Splatting. With the aid of a frequency-modulated loss, GES achieves competitive performance in novel-view synthesis benchmarks while requiring less than half the memory storage of Gaussian Splatting and increasing the rendering speed by up to 39%. The code is available on the project website https://abdullahamdi.com/ges .