最適化された最小4次元ガウススプラッティング

要旨

4Dガウススプラッティングは、複雑な動きを伴うシーンのリアルタイムレンダリングを可能にする、動的シーン表現の新たなパラダイムとして登場しました。しかし、高忠実度再現のためには数百万のガウシアンが必要となるため、ストレージのオーバーヘッドという大きな課題に直面しています。これまでにいくつかの研究がこのメモリ負荷を軽減しようと試みてきましたが、圧縮率や視覚的品質において依然として制限があります。本研究では、4Dガウスモデルを忠実に表現可能なコンパクトなガウシアンのセットを構築するフレームワークであるOMG4（Optimized Minimal 4D Gaussian Splatting）を提案します。我々の手法は、3つの段階でガウシアンを段階的に刈り込むものです：(1)再現忠実度に重要なプリミティブを特定するガウシアンサンプリング、(2)冗長性を除去するガウシアンプルーニング、(3)類似した特性を持つプリミティブを融合するガウシアンマージング。さらに、暗黙的な外観圧縮と4D表現への一般化されたサブベクトル量子化（SVQ）を統合し、品質を維持しながらストレージをさらに削減します。標準的なベンチマークデータセットを用いた広範な実験により、OMG4が最近の最先端手法を大幅に上回り、モデルサイズを60%以上削減しながら再現品質を維持することが実証されました。これらの結果は、OMG4がコンパクトな4Dシーン表現における重要な進歩であり、幅広い応用の可能性を開くものであることを示しています。ソースコードはhttps://minshirley.github.io/OMG4/で公開されています。

English

4D Gaussian Splatting has emerged as a new paradigm for dynamic scene representation, enabling real-time rendering of scenes with complex motions. However, it faces a major challenge of storage overhead, as millions of Gaussians are required for high-fidelity reconstruction. While several studies have attempted to alleviate this memory burden, they still face limitations in compression ratio or visual quality. In this work, we present OMG4 (Optimized Minimal 4D Gaussian Splatting), a framework that constructs a compact set of salient Gaussians capable of faithfully representing 4D Gaussian models. Our method progressively prunes Gaussians in three stages: (1) Gaussian Sampling to identify primitives critical to reconstruction fidelity, (2) Gaussian Pruning to remove redundancies, and (3) Gaussian Merging to fuse primitives with similar characteristics. In addition, we integrate implicit appearance compression and generalize Sub-Vector Quantization (SVQ) to 4D representations, further reducing storage while preserving quality. Extensive experiments on standard benchmark datasets demonstrate that OMG4 significantly outperforms recent state-of-the-art methods, reducing model sizes by over 60% while maintaining reconstruction quality. These results position OMG4 as a significant step forward in compact 4D scene representation, opening new possibilities for a wide range of applications. Our source code is available at https://minshirley.github.io/OMG4/.