Otimização Mínima de Projeção Gaussiana 4D

Resumo

O Splatting Gaussiano 4D emergiu como um novo paradigma para a representação de cenas dinâmicas, permitindo a renderização em tempo real de cenas com movimentos complexos. No entanto, ele enfrenta um grande desafio de sobrecarga de armazenamento, já que milhões de Gaussianas são necessárias para uma reconstrução de alta fidelidade. Embora vários estudos tenham tentado aliviar esse fardo de memória, eles ainda enfrentam limitações na taxa de compressão ou na qualidade visual. Neste trabalho, apresentamos o OMG4 (Optimized Minimal 4D Gaussian Splatting), um framework que constrói um conjunto compacto de Gaussianas salientes capazes de representar fielmente modelos Gaussianos 4D. Nosso método poda progressivamente as Gaussianas em três estágios: (1) Amostragem Gaussiana para identificar primitivas críticas para a fidelidade da reconstrução, (2) Poda Gaussiana para remover redundâncias e (3) Fusão Gaussiana para fundir primitivas com características semelhantes. Além disso, integramos a compressão implícita de aparência e generalizamos a Quantização de Sub-Vetores (SVQ) para representações 4D, reduzindo ainda mais o armazenamento enquanto preservamos a qualidade. Experimentos extensivos em conjuntos de dados de benchmark padrão demonstram que o OMG4 supera significativamente os métodos state-of-the-art recentes, reduzindo os tamanhos dos modelos em mais de 60% enquanto mantém a qualidade da reconstrução. Esses resultados posicionam o OMG4 como um avanço significativo na representação compacta de cenas 4D, abrindo novas possibilidades para uma ampla gama de aplicações. Nosso código-fonte está disponível em https://minshirley.github.io/OMG4/.

English

4D Gaussian Splatting has emerged as a new paradigm for dynamic scene representation, enabling real-time rendering of scenes with complex motions. However, it faces a major challenge of storage overhead, as millions of Gaussians are required for high-fidelity reconstruction. While several studies have attempted to alleviate this memory burden, they still face limitations in compression ratio or visual quality. In this work, we present OMG4 (Optimized Minimal 4D Gaussian Splatting), a framework that constructs a compact set of salient Gaussians capable of faithfully representing 4D Gaussian models. Our method progressively prunes Gaussians in three stages: (1) Gaussian Sampling to identify primitives critical to reconstruction fidelity, (2) Gaussian Pruning to remove redundancies, and (3) Gaussian Merging to fuse primitives with similar characteristics. In addition, we integrate implicit appearance compression and generalize Sub-Vector Quantization (SVQ) to 4D representations, further reducing storage while preserving quality. Extensive experiments on standard benchmark datasets demonstrate that OMG4 significantly outperforms recent state-of-the-art methods, reducing model sizes by over 60% while maintaining reconstruction quality. These results position OMG4 as a significant step forward in compact 4D scene representation, opening new possibilities for a wide range of applications. Our source code is available at https://minshirley.github.io/OMG4/.