1000+ FPS 4D Gaussian Splattering per il Rendering di Scene Dinamiche

1000+ FPS 4D Gaussian Splatting for Dynamic Scene Rendering

March 20, 2025

Autori: Yuheng Yuan, Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Abstract

Il 4D Gaussian Splatting (4DGS) ha recentemente attirato notevole attenzione come metodo per la ricostruzione di scene dinamiche. Nonostante raggiunga una qualità superiore, il 4DGS richiede tipicamente un notevole spazio di archiviazione e soffre di una velocità di rendering lenta. In questo lavoro, approfondiamo questi problemi e identifichiamo due fonti principali di ridondanza temporale. (Q1) Gaussiane a Breve Durata: il 4DGS utilizza una grande porzione di gaussiane con un breve intervallo temporale per rappresentare la dinamica della scena, portando a un numero eccessivo di gaussiane. (Q2) Gaussiane Inattive: durante il rendering, solo un piccolo sottoinsieme di gaussiane contribuisce a ciascun fotogramma. Nonostante ciò, tutte le gaussiane vengono elaborate durante la rasterizzazione, risultando in un sovraccarico computazionale ridondante. Per affrontare queste ridondanze, presentiamo il 4DGS-1K, che funziona a oltre 1000 FPS sulle moderne GPU. Per Q1, introduciamo lo Spatial-Temporal Variation Score, un nuovo criterio di potatura che rimuove efficacemente le gaussiane a breve durata, incoraggiando il 4DGS a catturare la dinamica della scena utilizzando gaussiane con intervalli temporali più lunghi. Per Q2, memorizziamo una maschera per le gaussiane attive su fotogrammi consecutivi, riducendo significativamente i calcoli ridondanti nel rendering. Rispetto al 4DGS standard, il nostro metodo ottiene una riduzione di 41 volte nello spazio di archiviazione e una velocità di rasterizzazione 9 volte più veloce su scene dinamiche complesse, mantenendo una qualità visiva comparabile. Visitate la nostra pagina del progetto all'indirizzo https://4DGS-1K.github.io.

English

4D Gaussian Splatting (4DGS) has recently gained considerable attention as a method for reconstructing dynamic scenes. Despite achieving superior quality, 4DGS typically requires substantial storage and suffers from slow rendering speed. In this work, we delve into these issues and identify two key sources of temporal redundancy. (Q1) Short-Lifespan Gaussians: 4DGS uses a large portion of Gaussians with short temporal span to represent scene dynamics, leading to an excessive number of Gaussians. (Q2) Inactive Gaussians: When rendering, only a small subset of Gaussians contributes to each frame. Despite this, all Gaussians are processed during rasterization, resulting in redundant computation overhead. To address these redundancies, we present 4DGS-1K, which runs at over 1000 FPS on modern GPUs. For Q1, we introduce the Spatial-Temporal Variation Score, a new pruning criterion that effectively removes short-lifespan Gaussians while encouraging 4DGS to capture scene dynamics using Gaussians with longer temporal spans. For Q2, we store a mask for active Gaussians across consecutive frames, significantly reducing redundant computations in rendering. Compared to vanilla 4DGS, our method achieves a 41times reduction in storage and 9times faster rasterization speed on complex dynamic scenes, while maintaining comparable visual quality. Please see our project page at https://4DGS-1K.github.io.