1000+ FPS 4D Gaussian Splatting para la Renderización de Escenas Dinámicas

1000+ FPS 4D Gaussian Splatting for Dynamic Scene Rendering

March 20, 2025

Autores: Yuheng Yuan, Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Resumen

El método 4D Gaussian Splatting (4DGS) ha ganado recientemente una atención considerable como técnica para la reconstrucción de escenas dinámicas. A pesar de lograr una calidad superior, el 4DGS generalmente requiere un almacenamiento sustancial y sufre de una velocidad de renderizado lenta. En este trabajo, profundizamos en estos problemas e identificamos dos fuentes clave de redundancia temporal. (Q1) Gaussianas de Corta Duración: el 4DGS utiliza una gran proporción de Gaussianas con un lapso temporal corto para representar la dinámica de la escena, lo que resulta en un número excesivo de Gaussianas. (Q2) Gaussianas Inactivas: durante el renderizado, solo un pequeño subconjunto de Gaussianas contribuye a cada fotograma. A pesar de esto, todas las Gaussianas se procesan durante la rasterización, generando un sobrecarga computacional redundante. Para abordar estas redundancias, presentamos 4DGS-1K, que funciona a más de 1000 FPS en GPU modernas. Para Q1, introducimos el Puntaje de Variación Espacio-Temporal, un nuevo criterio de poda que elimina eficazmente las Gaussianas de corta duración mientras fomenta que el 4DGS capture la dinámica de la escena utilizando Gaussianas con lapsos temporales más largos. Para Q2, almacenamos una máscara para las Gaussianas activas en fotogramas consecutivos, reduciendo significativamente los cálculos redundantes en el renderizado. En comparación con el 4DGS convencional, nuestro método logra una reducción de 41 veces en el almacenamiento y una velocidad de rasterización 9 veces más rápida en escenas dinámicas complejas, manteniendo una calidad visual comparable. Visite nuestra página del proyecto en https://4DGS-1K.github.io.

English

4D Gaussian Splatting (4DGS) has recently gained considerable attention as a method for reconstructing dynamic scenes. Despite achieving superior quality, 4DGS typically requires substantial storage and suffers from slow rendering speed. In this work, we delve into these issues and identify two key sources of temporal redundancy. (Q1) Short-Lifespan Gaussians: 4DGS uses a large portion of Gaussians with short temporal span to represent scene dynamics, leading to an excessive number of Gaussians. (Q2) Inactive Gaussians: When rendering, only a small subset of Gaussians contributes to each frame. Despite this, all Gaussians are processed during rasterization, resulting in redundant computation overhead. To address these redundancies, we present 4DGS-1K, which runs at over 1000 FPS on modern GPUs. For Q1, we introduce the Spatial-Temporal Variation Score, a new pruning criterion that effectively removes short-lifespan Gaussians while encouraging 4DGS to capture scene dynamics using Gaussians with longer temporal spans. For Q2, we store a mask for active Gaussians across consecutive frames, significantly reducing redundant computations in rendering. Compared to vanilla 4DGS, our method achieves a 41times reduction in storage and 9times faster rasterization speed on complex dynamic scenes, while maintaining comparable visual quality. Please see our project page at https://4DGS-1K.github.io.