Оптимизированное минимальное 4D гауссово сплайнирование

Аннотация

4D Gaussian Splatting стал новой парадигмой для представления динамических сцен, позволяя осуществлять рендеринг сложных движений в реальном времени. Однако он сталкивается с серьезной проблемой избыточного объема хранения, поскольку для высококачественной реконструкции требуются миллионы гауссовых распределений. Хотя несколько исследований пытались уменьшить эту нагрузку на память, они все еще сталкиваются с ограничениями в степени сжатия или качестве визуализации. В данной работе мы представляем OMG4 (Optimized Minimal 4D Gaussian Splatting) — фреймворк, который создает компактный набор значимых гауссовых распределений, способных точно представлять 4D гауссовы модели. Наш метод последовательно сокращает количество гауссовых распределений в три этапа: (1) Гауссова выборка для идентификации примитивов, критически важных для точности реконструкции, (2) Гауссова обрезка для удаления избыточных элементов и (3) Гауссова слияние для объединения примитивов с похожими характеристиками. Кроме того, мы интегрируем неявное сжатие внешнего вида и обобщаем Sub-Vector Quantization (SVQ) для 4D представлений, что дополнительно сокращает объем хранения при сохранении качества. Экстенсивные эксперименты на стандартных наборах данных демонстрируют, что OMG4 значительно превосходит современные методы, сокращая размеры моделей более чем на 60% при сохранении качества реконструкции. Эти результаты позиционируют OMG4 как значительный шаг вперед в компактном представлении 4D сцен, открывая новые возможности для широкого спектра приложений. Наш исходный код доступен по адресу https://minshirley.github.io/OMG4/.

English

4D Gaussian Splatting has emerged as a new paradigm for dynamic scene representation, enabling real-time rendering of scenes with complex motions. However, it faces a major challenge of storage overhead, as millions of Gaussians are required for high-fidelity reconstruction. While several studies have attempted to alleviate this memory burden, they still face limitations in compression ratio or visual quality. In this work, we present OMG4 (Optimized Minimal 4D Gaussian Splatting), a framework that constructs a compact set of salient Gaussians capable of faithfully representing 4D Gaussian models. Our method progressively prunes Gaussians in three stages: (1) Gaussian Sampling to identify primitives critical to reconstruction fidelity, (2) Gaussian Pruning to remove redundancies, and (3) Gaussian Merging to fuse primitives with similar characteristics. In addition, we integrate implicit appearance compression and generalize Sub-Vector Quantization (SVQ) to 4D representations, further reducing storage while preserving quality. Extensive experiments on standard benchmark datasets demonstrate that OMG4 significantly outperforms recent state-of-the-art methods, reducing model sizes by over 60% while maintaining reconstruction quality. These results position OMG4 as a significant step forward in compact 4D scene representation, opening new possibilities for a wide range of applications. Our source code is available at https://minshirley.github.io/OMG4/.