최적화된 최소 4D 가우시안 스플래팅

초록

4D 가우시안 스플래팅은 복잡한 동작을 포함한 장면의 실시간 렌더링을 가능하게 하는 동적 장면 표현의 새로운 패러다임으로 부상하였다. 그러나 고충실도 재구성을 위해 수백만 개의 가우시안이 필요하기 때문에 저장 오버헤드라는 주요 문제에 직면해 있다. 여러 연구에서 이러한 메모리 부담을 완화하려 시도했지만, 압축률이나 시각적 품질 측면에서 여전히 한계가 있다. 본 연구에서는 4D 가우시안 모델을 충실히 표현할 수 있는 간결한 중요 가우시안 집합을 구성하는 OMG4(Optimized Minimal 4D Gaussian Splatting) 프레임워크를 제안한다. 우리의 방법은 세 단계에 걸쳐 가우시안을 점진적으로 정제한다: (1) 재구성 충실도에 중요한 기본 요소를 식별하는 가우시안 샘플링, (2) 중복성을 제거하는 가우시안 가지치기, (3) 유사한 특성을 가진 기본 요소를 융합하는 가우시안 병합. 또한, 암묵적 외관 압축과 4D 표현에 일반화된 서브-벡터 양자화(SVQ)를 통합하여 품질을 유지하면서 저장 공간을 더욱 줄인다. 표준 벤치마크 데이터셋에 대한 광범위한 실험을 통해 OMG4가 최신 최첨단 방법들을 크게 능가하며, 모델 크기를 60% 이상 줄이면서도 재구성 품질을 유지함을 입증하였다. 이러한 결과는 OMG4를 간결한 4D 장면 표현의 중요한 진전으로 위치시키며, 다양한 응용 분야에 새로운 가능성을 열어준다. 소스 코드는 https://minshirley.github.io/OMG4/에서 확인할 수 있다.

English

4D Gaussian Splatting has emerged as a new paradigm for dynamic scene representation, enabling real-time rendering of scenes with complex motions. However, it faces a major challenge of storage overhead, as millions of Gaussians are required for high-fidelity reconstruction. While several studies have attempted to alleviate this memory burden, they still face limitations in compression ratio or visual quality. In this work, we present OMG4 (Optimized Minimal 4D Gaussian Splatting), a framework that constructs a compact set of salient Gaussians capable of faithfully representing 4D Gaussian models. Our method progressively prunes Gaussians in three stages: (1) Gaussian Sampling to identify primitives critical to reconstruction fidelity, (2) Gaussian Pruning to remove redundancies, and (3) Gaussian Merging to fuse primitives with similar characteristics. In addition, we integrate implicit appearance compression and generalize Sub-Vector Quantization (SVQ) to 4D representations, further reducing storage while preserving quality. Extensive experiments on standard benchmark datasets demonstrate that OMG4 significantly outperforms recent state-of-the-art methods, reducing model sizes by over 60% while maintaining reconstruction quality. These results position OMG4 as a significant step forward in compact 4D scene representation, opening new possibilities for a wide range of applications. Our source code is available at https://minshirley.github.io/OMG4/.