1000+ FPS 4D Gaussische Splatting voor Dynamische Scène Rendering

1000+ FPS 4D Gaussian Splatting for Dynamic Scene Rendering

March 20, 2025

Auteurs: Yuheng Yuan, Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Samenvatting

4D Gaussian Splatting (4DGS) heeft recentelijk aanzienlijke aandacht gekregen als een methode voor het reconstrueren van dynamische scènes. Ondanks dat het superieure kwaliteit bereikt, vereist 4DGS doorgaans aanzienlijke opslag en lijdt het onder een trage renderingsnelheid. In dit werk duiken we in deze problemen en identificeren we twee belangrijke bronnen van temporele redundantie. (Q1) Kortlevende Gaussians: 4DGS gebruikt een groot deel van Gaussians met een korte temporele duur om scènedynamiek weer te geven, wat leidt tot een excessief aantal Gaussians. (Q2) Inactieve Gaussians: Bij het renderen draagt slechts een kleine subset van Gaussians bij aan elk frame. Desondanks worden alle Gaussians verwerkt tijdens de rasterisatie, wat resulteert in overbodige rekenkosten. Om deze redundanties aan te pakken, presenteren we 4DGS-1K, dat draait op meer dan 1000 FPS op moderne GPU's. Voor Q1 introduceren we de Spatial-Temporal Variation Score, een nieuw snoeicriterium dat effectief kortlevende Gaussians verwijdert terwijl het 4DGS aanmoedigt om scènedynamiek vast te leggen met Gaussians met langere temporele duur. Voor Q2 slaan we een masker op voor actieve Gaussians over opeenvolgende frames, wat de overbodige berekeningen bij het renderen aanzienlijk vermindert. Vergeleken met standaard 4DGS, bereikt onze methode een 41-voudige reductie in opslag en een 9-voudige versnelling van de rasterisatiesnelheid op complexe dynamische scènes, terwijl een vergelijkbare visuele kwaliteit behouden blijft. Bezoek onze projectpagina op https://4DGS-1K.github.io.

English

4D Gaussian Splatting (4DGS) has recently gained considerable attention as a method for reconstructing dynamic scenes. Despite achieving superior quality, 4DGS typically requires substantial storage and suffers from slow rendering speed. In this work, we delve into these issues and identify two key sources of temporal redundancy. (Q1) Short-Lifespan Gaussians: 4DGS uses a large portion of Gaussians with short temporal span to represent scene dynamics, leading to an excessive number of Gaussians. (Q2) Inactive Gaussians: When rendering, only a small subset of Gaussians contributes to each frame. Despite this, all Gaussians are processed during rasterization, resulting in redundant computation overhead. To address these redundancies, we present 4DGS-1K, which runs at over 1000 FPS on modern GPUs. For Q1, we introduce the Spatial-Temporal Variation Score, a new pruning criterion that effectively removes short-lifespan Gaussians while encouraging 4DGS to capture scene dynamics using Gaussians with longer temporal spans. For Q2, we store a mask for active Gaussians across consecutive frames, significantly reducing redundant computations in rendering. Compared to vanilla 4DGS, our method achieves a 41times reduction in storage and 9times faster rasterization speed on complex dynamic scenes, while maintaining comparable visual quality. Please see our project page at https://4DGS-1K.github.io.