Ottimizzazione del Minimal 4D Gaussian Splatting

Abstract

Il 4D Gaussian Splatting è emerso come un nuovo paradigma per la rappresentazione di scene dinamiche, consentendo il rendering in tempo reale di scene con movimenti complessi. Tuttavia, affronta una sfida significativa legata all'overhead di memorizzazione, poiché sono necessari milioni di Gaussiane per una ricostruzione ad alta fedeltà. Sebbene diversi studi abbiano tentato di alleviare questo onere di memoria, si scontrano ancora con limitazioni nel rapporto di compressione o nella qualità visiva. In questo lavoro, presentiamo OMG4 (Optimized Minimal 4D Gaussian Splatting), un framework che costruisce un insieme compatto di Gaussiane salienti in grado di rappresentare fedelmente modelli 4D Gaussian. Il nostro metodo pota progressivamente le Gaussiane in tre fasi: (1) Campionamento Gaussiano per identificare le primitive critiche per la fedeltà della ricostruzione, (2) Potatura Gaussiana per rimuovere le ridondanze, e (3) Fusione Gaussiana per unire primitive con caratteristiche simili. Inoltre, integriamo la compressione implicita dell'aspetto e generalizziamo la Quantizzazione Sub-Vettoriale (SVQ) alle rappresentazioni 4D, riducendo ulteriormente lo spazio di memorizzazione preservando la qualità. Esperimenti estesi su dataset di benchmark standard dimostrano che OMG4 supera significativamente i metodi più recenti all'avanguardia, riducendo le dimensioni del modello di oltre il 60% mantenendo la qualità della ricostruzione. Questi risultati posizionano OMG4 come un passo significativo in avanti nella rappresentazione compatta di scene 4D, aprendo nuove possibilità per una vasta gamma di applicazioni. Il nostro codice sorgente è disponibile all'indirizzo https://minshirley.github.io/OMG4/.

English

4D Gaussian Splatting has emerged as a new paradigm for dynamic scene representation, enabling real-time rendering of scenes with complex motions. However, it faces a major challenge of storage overhead, as millions of Gaussians are required for high-fidelity reconstruction. While several studies have attempted to alleviate this memory burden, they still face limitations in compression ratio or visual quality. In this work, we present OMG4 (Optimized Minimal 4D Gaussian Splatting), a framework that constructs a compact set of salient Gaussians capable of faithfully representing 4D Gaussian models. Our method progressively prunes Gaussians in three stages: (1) Gaussian Sampling to identify primitives critical to reconstruction fidelity, (2) Gaussian Pruning to remove redundancies, and (3) Gaussian Merging to fuse primitives with similar characteristics. In addition, we integrate implicit appearance compression and generalize Sub-Vector Quantization (SVQ) to 4D representations, further reducing storage while preserving quality. Extensive experiments on standard benchmark datasets demonstrate that OMG4 significantly outperforms recent state-of-the-art methods, reducing model sizes by over 60% while maintaining reconstruction quality. These results position OMG4 as a significant step forward in compact 4D scene representation, opening new possibilities for a wide range of applications. Our source code is available at https://minshirley.github.io/OMG4/.