1000+ FPS 4D Gaussian Splatting para Renderização de Cenas Dinâmicas

1000+ FPS 4D Gaussian Splatting for Dynamic Scene Rendering

March 20, 2025

Autores: Yuheng Yuan, Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Resumo

O 4D Gaussian Splatting (4DGS) tem ganhado considerável atenção recentemente como um método para reconstrução de cenas dinâmicas. Apesar de alcançar qualidade superior, o 4DGS geralmente requer armazenamento substancial e sofre com velocidade de renderização lenta. Neste trabalho, investigamos esses problemas e identificamos duas fontes principais de redundância temporal. (Q1) Gaussianas de Curta Duração: o 4DGS utiliza uma grande porção de Gaussianas com curto intervalo temporal para representar a dinâmica da cena, resultando em um número excessivo de Gaussianas. (Q2) Gaussianas Inativas: durante a renderização, apenas um pequeno subconjunto de Gaussianas contribui para cada quadro. Apesar disso, todas as Gaussianas são processadas durante a rasterização, gerando sobrecarga computacional redundante. Para abordar essas redundâncias, apresentamos o 4DGS-1K, que opera a mais de 1000 FPS em GPUs modernas. Para Q1, introduzimos o Spatial-Temporal Variation Score, um novo critério de poda que remove efetivamente Gaussianas de curta duração, incentivando o 4DGS a capturar a dinâmica da cena usando Gaussianas com intervalos temporais mais longos. Para Q2, armazenamos uma máscara para Gaussianas ativas em quadros consecutivos, reduzindo significativamente os cálculos redundantes na renderização. Em comparação com o 4DGS tradicional, nosso método alcança uma redução de 41 vezes no armazenamento e uma velocidade de rasterização 9 vezes mais rápida em cenas dinâmicas complexas, mantendo qualidade visual comparável. Consulte nossa página do projeto em https://4DGS-1K.github.io.

English

4D Gaussian Splatting (4DGS) has recently gained considerable attention as a method for reconstructing dynamic scenes. Despite achieving superior quality, 4DGS typically requires substantial storage and suffers from slow rendering speed. In this work, we delve into these issues and identify two key sources of temporal redundancy. (Q1) Short-Lifespan Gaussians: 4DGS uses a large portion of Gaussians with short temporal span to represent scene dynamics, leading to an excessive number of Gaussians. (Q2) Inactive Gaussians: When rendering, only a small subset of Gaussians contributes to each frame. Despite this, all Gaussians are processed during rasterization, resulting in redundant computation overhead. To address these redundancies, we present 4DGS-1K, which runs at over 1000 FPS on modern GPUs. For Q1, we introduce the Spatial-Temporal Variation Score, a new pruning criterion that effectively removes short-lifespan Gaussians while encouraging 4DGS to capture scene dynamics using Gaussians with longer temporal spans. For Q2, we store a mask for active Gaussians across consecutive frames, significantly reducing redundant computations in rendering. Compared to vanilla 4DGS, our method achieves a 41times reduction in storage and 9times faster rasterization speed on complex dynamic scenes, while maintaining comparable visual quality. Please see our project page at https://4DGS-1K.github.io.