Optimiertes Minimales 4D-Gaußsches Splatting

papers.abstract

4D-Gaußsche Splatting hat sich als neues Paradigma für die Darstellung dynamischer Szenen etabliert und ermöglicht die Echtzeit-Rendering von Szenen mit komplexen Bewegungen. Es steht jedoch vor einer großen Herausforderung in Bezug auf den Speicheraufwand, da Millionen von Gaußschen Funktionen für eine hochauflösende Rekonstruktion erforderlich sind. Obwohl mehrere Studien versucht haben, diese Speicherlast zu verringern, stoßen sie nach wie vor auf Einschränkungen beim Kompressionsverhältnis oder der visuellen Qualität. In dieser Arbeit präsentieren wir OMG4 (Optimized Minimal 4D Gaussian Splatting), ein Framework, das eine kompakte Menge von signifikanten Gaußschen Funktionen konstruiert, die in der Lage sind, 4D-Gaußsche Modelle treu darzustellen. Unser Verfahren reduziert Gaußsche Funktionen schrittweise in drei Stufen: (1) Gaußsches Sampling, um Primitiven zu identifizieren, die für die Rekonstruktionsgenauigkeit entscheidend sind, (2) Gaußsches Pruning, um Redundanzen zu entfernen, und (3) Gaußsches Merging, um Primitiven mit ähnlichen Eigenschaften zu fusionieren. Darüber hinaus integrieren wir implizite Erscheinungskompression und verallgemeinern die Sub-Vektor-Quantisierung (SVQ) auf 4D-Darstellungen, wodurch der Speicherbedarf weiter reduziert wird, während die Qualität erhalten bleibt. Umfangreiche Experimente mit Standard-Benchmark-Datensätzen zeigen, dass OMG4 aktuelle state-of-the-art Methoden deutlich übertrifft, indem es die Modellgrößen um über 60 % reduziert und gleichzeitig die Rekonstruktionsqualität beibehält. Diese Ergebnisse positionieren OMG4 als einen bedeutenden Fortschritt in der kompakten 4D-Szenendarstellung und eröffnen neue Möglichkeiten für eine Vielzahl von Anwendungen. Unser Quellcode ist unter https://minshirley.github.io/OMG4/ verfügbar.

English

4D Gaussian Splatting has emerged as a new paradigm for dynamic scene representation, enabling real-time rendering of scenes with complex motions. However, it faces a major challenge of storage overhead, as millions of Gaussians are required for high-fidelity reconstruction. While several studies have attempted to alleviate this memory burden, they still face limitations in compression ratio or visual quality. In this work, we present OMG4 (Optimized Minimal 4D Gaussian Splatting), a framework that constructs a compact set of salient Gaussians capable of faithfully representing 4D Gaussian models. Our method progressively prunes Gaussians in three stages: (1) Gaussian Sampling to identify primitives critical to reconstruction fidelity, (2) Gaussian Pruning to remove redundancies, and (3) Gaussian Merging to fuse primitives with similar characteristics. In addition, we integrate implicit appearance compression and generalize Sub-Vector Quantization (SVQ) to 4D representations, further reducing storage while preserving quality. Extensive experiments on standard benchmark datasets demonstrate that OMG4 significantly outperforms recent state-of-the-art methods, reducing model sizes by over 60% while maintaining reconstruction quality. These results position OMG4 as a significant step forward in compact 4D scene representation, opening new possibilities for a wide range of applications. Our source code is available at https://minshirley.github.io/OMG4/.