1000+ кадров в секунду 4D гауссово размытие для рендеринга динамических сцен

1000+ FPS 4D Gaussian Splatting for Dynamic Scene Rendering

March 20, 2025

Авторы: Yuheng Yuan, Qiuhong Shen, Xingyi Yang, Xinchao Wang

cs.AI

Аннотация

4D Gaussian Splatting (4DGS) недавно привлекла значительное внимание как метод реконструкции динамических сцен. Несмотря на достижение превосходного качества, 4DGS обычно требует значительных объемов памяти и страдает от низкой скорости рендеринга. В данной работе мы углубляемся в эти проблемы и выявляем два ключевых источника временной избыточности. (Q1) Гауссовы функции с коротким временем жизни: 4DGS использует большое количество гауссовых функций с коротким временным интервалом для представления динамики сцены, что приводит к избыточному количеству гауссовых функций. (Q2) Неактивные гауссовы функции: при рендеринге только небольшая часть гауссовых функций вносит вклад в каждый кадр. Несмотря на это, все гауссовы функции обрабатываются во время растеризации, что приводит к избыточным вычислительным затратам. Для устранения этих избыточностей мы представляем 4DGS-1K, которая работает со скоростью более 1000 кадров в секунду на современных GPU. Для Q1 мы вводим Spatial-Temporal Variation Score — новый критерий обрезки, который эффективно удаляет гауссовы функции с коротким временем жизни, побуждая 4DGS захватывать динамику сцены с использованием гауссовых функций с более длительными временными интервалами. Для Q2 мы сохраняем маску активных гауссовых функций для последовательных кадров, что значительно сокращает избыточные вычисления при рендеринге. По сравнению с базовой версией 4DGS, наш метод достигает 41-кратного сокращения объема памяти и 9-кратного ускорения скорости растеризации на сложных динамических сценах, сохраняя при этом сопоставимое визуальное качество. Подробнее см. на нашей странице проекта: https://4DGS-1K.github.io.

English

4D Gaussian Splatting (4DGS) has recently gained considerable attention as a method for reconstructing dynamic scenes. Despite achieving superior quality, 4DGS typically requires substantial storage and suffers from slow rendering speed. In this work, we delve into these issues and identify two key sources of temporal redundancy. (Q1) Short-Lifespan Gaussians: 4DGS uses a large portion of Gaussians with short temporal span to represent scene dynamics, leading to an excessive number of Gaussians. (Q2) Inactive Gaussians: When rendering, only a small subset of Gaussians contributes to each frame. Despite this, all Gaussians are processed during rasterization, resulting in redundant computation overhead. To address these redundancies, we present 4DGS-1K, which runs at over 1000 FPS on modern GPUs. For Q1, we introduce the Spatial-Temporal Variation Score, a new pruning criterion that effectively removes short-lifespan Gaussians while encouraging 4DGS to capture scene dynamics using Gaussians with longer temporal spans. For Q2, we store a mask for active Gaussians across consecutive frames, significantly reducing redundant computations in rendering. Compared to vanilla 4DGS, our method achieves a 41times reduction in storage and 9times faster rasterization speed on complex dynamic scenes, while maintaining comparable visual quality. Please see our project page at https://4DGS-1K.github.io.