1000+ FPS 4Dガウススプラッティングによる動的シーンレンダリング

1000+ FPS 4D Gaussian Splatting for Dynamic Scene Rendering

March 20, 2025

著者: Yuheng Yuan, Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

要旨

4Dガウシアンスプラッティング（4DGS）は、動的シーンの再構築手法として最近注目を集めています。優れた品質を達成しているにもかかわらず、4DGSは通常、大量のストレージを必要とし、レンダリング速度が遅いという課題があります。本研究では、これらの問題に深く掘り下げ、時間的な冗長性の2つの主要な原因を特定しました。(Q1) 短寿命ガウシアン: 4DGSは、シーンのダイナミクスを表現するために、時間的に短いスパンを持つガウシアンを大量に使用しており、過剰な数のガウシアンが生成されます。(Q2) 非活性ガウシアン: レンダリング時には、各フレームに対してごく一部のガウシアンしか寄与しません。それにもかかわらず、ラスタライズ中にすべてのガウシアンが処理されるため、冗長な計算オーバーヘッドが発生します。これらの冗長性を解決するため、我々は4DGS-1Kを提案します。これは、最新のGPU上で1000 FPS以上で動作します。Q1に対しては、短寿命ガウシアンを効果的に除去しつつ、4DGSがより長い時間スパンを持つガウシアンを使用してシーンのダイナミクスを捉えることを促す新しい剪定基準である「空間-時間変動スコア」を導入します。Q2に対しては、連続するフレーム間で活性なガウシアンのマスクを保存し、レンダリングにおける冗長な計算を大幅に削減します。従来の4DGSと比較して、我々の手法は複雑な動的シーンにおいて、ストレージを41倍削減し、ラスタライズ速度を9倍向上させながら、同等の視覚品質を維持します。詳細はプロジェクトページ（https://4DGS-1K.github.io）をご覧ください。

English

4D Gaussian Splatting (4DGS) has recently gained considerable attention as a method for reconstructing dynamic scenes. Despite achieving superior quality, 4DGS typically requires substantial storage and suffers from slow rendering speed. In this work, we delve into these issues and identify two key sources of temporal redundancy. (Q1) Short-Lifespan Gaussians: 4DGS uses a large portion of Gaussians with short temporal span to represent scene dynamics, leading to an excessive number of Gaussians. (Q2) Inactive Gaussians: When rendering, only a small subset of Gaussians contributes to each frame. Despite this, all Gaussians are processed during rasterization, resulting in redundant computation overhead. To address these redundancies, we present 4DGS-1K, which runs at over 1000 FPS on modern GPUs. For Q1, we introduce the Spatial-Temporal Variation Score, a new pruning criterion that effectively removes short-lifespan Gaussians while encouraging 4DGS to capture scene dynamics using Gaussians with longer temporal spans. For Q2, we store a mask for active Gaussians across consecutive frames, significantly reducing redundant computations in rendering. Compared to vanilla 4DGS, our method achieves a 41times reduction in storage and 9times faster rasterization speed on complex dynamic scenes, while maintaining comparable visual quality. Please see our project page at https://4DGS-1K.github.io.