Optimisation minimale du lissage gaussien 4D

papers.abstract

Le 4D Gaussian Splatting s’est imposé comme un nouveau paradigme pour la représentation de scènes dynamiques, permettant le rendu en temps réel de scènes avec des mouvements complexes. Cependant, il se heurte à un défi majeur lié à la surcharge de stockage, car des millions de Gaussiennes sont nécessaires pour une reconstruction haute fidélité. Bien que plusieurs études aient tenté d’alléger cette charge mémoire, elles restent limitées en termes de taux de compression ou de qualité visuelle. Dans ce travail, nous présentons OMG4 (Optimized Minimal 4D Gaussian Splatting), un cadre qui construit un ensemble compact de Gaussiennes saillantes capables de représenter fidèlement des modèles 4D Gaussians. Notre méthode élimine progressivement les Gaussiennes en trois étapes : (1) l’échantillonnage de Gaussiennes pour identifier les primitives critiques à la fidélité de reconstruction, (2) l’élagage de Gaussiennes pour supprimer les redondances, et (3) la fusion de Gaussiennes pour combiner des primitives aux caractéristiques similaires. De plus, nous intégrons une compression implicite de l’apparence et généralisons la Quantification Sous-Vectorielle (SVQ) aux représentations 4D, réduisant davantage le stockage tout en préservant la qualité. Des expériences approfondies sur des ensembles de données de référence standard démontrent qu’OMG4 surpasse significativement les méthodes récentes de pointe, réduisant la taille des modèles de plus de 60 % tout en maintenant la qualité de reconstruction. Ces résultats positionnent OMG4 comme une avancée majeure dans la représentation compacte de scènes 4D, ouvrant de nouvelles possibilités pour une large gamme d’applications. Notre code source est disponible à l’adresse https://minshirley.github.io/OMG4/.

English

4D Gaussian Splatting has emerged as a new paradigm for dynamic scene representation, enabling real-time rendering of scenes with complex motions. However, it faces a major challenge of storage overhead, as millions of Gaussians are required for high-fidelity reconstruction. While several studies have attempted to alleviate this memory burden, they still face limitations in compression ratio or visual quality. In this work, we present OMG4 (Optimized Minimal 4D Gaussian Splatting), a framework that constructs a compact set of salient Gaussians capable of faithfully representing 4D Gaussian models. Our method progressively prunes Gaussians in three stages: (1) Gaussian Sampling to identify primitives critical to reconstruction fidelity, (2) Gaussian Pruning to remove redundancies, and (3) Gaussian Merging to fuse primitives with similar characteristics. In addition, we integrate implicit appearance compression and generalize Sub-Vector Quantization (SVQ) to 4D representations, further reducing storage while preserving quality. Extensive experiments on standard benchmark datasets demonstrate that OMG4 significantly outperforms recent state-of-the-art methods, reducing model sizes by over 60% while maintaining reconstruction quality. These results position OMG4 as a significant step forward in compact 4D scene representation, opening new possibilities for a wide range of applications. Our source code is available at https://minshirley.github.io/OMG4/.