동적 장면 렌더링을 위한 1000+ FPS 4D 가우시안 스플래팅

1000+ FPS 4D Gaussian Splatting for Dynamic Scene Rendering

March 20, 2025

저자: Yuheng Yuan, Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

초록

4D 가우시안 스플래팅(4DGS)은 최근 동적 장면 재구성을 위한 방법으로 상당한 주목을 받고 있습니다. 우수한 품질을 달성했음에도 불구하고, 4DGS는 일반적으로 상당한 저장 공간을 필요로 하며 느린 렌더링 속도로 인해 어려움을 겪습니다. 본 연구에서는 이러한 문제를 심층적으로 분석하고 시간적 중복성의 두 가지 주요 원인을 식별했습니다. (Q1) 짧은 수명의 가우시안: 4DGS는 장면 동역학을 표현하기 위해 짧은 시간 범위를 가진 다수의 가우시안을 사용함으로써 과도한 수의 가우시안을 생성합니다. (Q2) 비활성 가우시안: 렌더링 시 각 프레임에 기여하는 가우시안은 소수에 불과하지만, 래스터화 과정에서는 모든 가우시안이 처리되어 불필요한 계산 오버헤드가 발생합니다. 이러한 중복성을 해결하기 위해, 우리는 현대 GPU에서 1000 FPS 이상으로 동작하는 4DGS-1K를 제안합니다. Q1에 대해서는, 짧은 수명의 가우시안을 효과적으로 제거하면서 더 긴 시간 범위를 가진 가우시안을 사용하여 장면 동역학을 포착하도록 유도하는 새로운 가지치기 기준인 공간-시간 변동 점수(Spatial-Temporal Variation Score)를 도입했습니다. Q2에 대해서는, 연속된 프레임에 걸쳐 활성 가우시안에 대한 마스크를 저장함으로써 렌더링에서의 불필요한 계산을 크게 줄였습니다. 기존의 4DGS와 비교하여, 우리의 방법은 복잡한 동적 장면에서 저장 공간을 41배 줄이고 래스터화 속도를 9배 향상시키면서도 비슷한 시각적 품질을 유지합니다. 자세한 내용은 프로젝트 페이지(https://4DGS-1K.github.io)를 참조하십시오.

English

4D Gaussian Splatting (4DGS) has recently gained considerable attention as a method for reconstructing dynamic scenes. Despite achieving superior quality, 4DGS typically requires substantial storage and suffers from slow rendering speed. In this work, we delve into these issues and identify two key sources of temporal redundancy. (Q1) Short-Lifespan Gaussians: 4DGS uses a large portion of Gaussians with short temporal span to represent scene dynamics, leading to an excessive number of Gaussians. (Q2) Inactive Gaussians: When rendering, only a small subset of Gaussians contributes to each frame. Despite this, all Gaussians are processed during rasterization, resulting in redundant computation overhead. To address these redundancies, we present 4DGS-1K, which runs at over 1000 FPS on modern GPUs. For Q1, we introduce the Spatial-Temporal Variation Score, a new pruning criterion that effectively removes short-lifespan Gaussians while encouraging 4DGS to capture scene dynamics using Gaussians with longer temporal spans. For Q2, we store a mask for active Gaussians across consecutive frames, significantly reducing redundant computations in rendering. Compared to vanilla 4DGS, our method achieves a 41times reduction in storage and 9times faster rasterization speed on complex dynamic scenes, while maintaining comparable visual quality. Please see our project page at https://4DGS-1K.github.io.