1000+ FPS Splatting Gaussien 4D pour le Rendering de Scènes Dynamiques

1000+ FPS 4D Gaussian Splatting for Dynamic Scene Rendering

March 20, 2025

Auteurs: Yuheng Yuan, Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Résumé

Le 4D Gaussian Splatting (4DGS) a récemment suscité un intérêt considérable en tant que méthode pour la reconstruction de scènes dynamiques. Bien qu'il offre une qualité supérieure, le 4DGS nécessite généralement un stockage important et souffre d'une vitesse de rendu lente. Dans ce travail, nous explorons ces problèmes et identifions deux sources clés de redondance temporelle. (Q1) Gaussiennes à courte durée de vie : le 4DGS utilise une grande proportion de Gaussiennes ayant une durée temporelle courte pour représenter la dynamique des scènes, ce qui entraîne un nombre excessif de Gaussiennes. (Q2) Gaussiennes inactives : lors du rendu, seule une petite sous-ensemble de Gaussiennes contribue à chaque image. Malgré cela, toutes les Gaussiennes sont traitées pendant la rasterisation, ce qui génère un surcoût de calcul redondant. Pour résoudre ces redondances, nous présentons le 4DGS-1K, qui fonctionne à plus de 1000 FPS sur les GPU modernes. Pour Q1, nous introduisons le Spatial-Temporal Variation Score, un nouveau critère d'élagage qui supprime efficacement les Gaussiennes à courte durée de vie tout en encourageant le 4DGS à capturer la dynamique des scènes à l'aide de Gaussiennes ayant une durée temporelle plus longue. Pour Q2, nous stockons un masque pour les Gaussiennes actives sur plusieurs images consécutives, réduisant ainsi significativement les calculs redondants lors du rendu. Par rapport au 4DGS classique, notre méthode permet une réduction de 41 fois du stockage et une accélération de 9 fois de la vitesse de rasterisation sur des scènes dynamiques complexes, tout en maintenant une qualité visuelle comparable. Consultez notre page de projet à l'adresse https://4DGS-1K.github.io.

English

4D Gaussian Splatting (4DGS) has recently gained considerable attention as a method for reconstructing dynamic scenes. Despite achieving superior quality, 4DGS typically requires substantial storage and suffers from slow rendering speed. In this work, we delve into these issues and identify two key sources of temporal redundancy. (Q1) Short-Lifespan Gaussians: 4DGS uses a large portion of Gaussians with short temporal span to represent scene dynamics, leading to an excessive number of Gaussians. (Q2) Inactive Gaussians: When rendering, only a small subset of Gaussians contributes to each frame. Despite this, all Gaussians are processed during rasterization, resulting in redundant computation overhead. To address these redundancies, we present 4DGS-1K, which runs at over 1000 FPS on modern GPUs. For Q1, we introduce the Spatial-Temporal Variation Score, a new pruning criterion that effectively removes short-lifespan Gaussians while encouraging 4DGS to capture scene dynamics using Gaussians with longer temporal spans. For Q2, we store a mask for active Gaussians across consecutive frames, significantly reducing redundant computations in rendering. Compared to vanilla 4DGS, our method achieves a 41times reduction in storage and 9times faster rasterization speed on complex dynamic scenes, while maintaining comparable visual quality. Please see our project page at https://4DGS-1K.github.io.