Rendering Efficiente di Scene Dinamiche Monoculari tramite Gaussian Splatting mediante Modellizzazione Sparse di Attributi Variabili nel Tempo

Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling

February 27, 2025

Autori: Hanyang Kong, Xingyi Yang, Xinchao Wang

cs.AI

Abstract

Il rendering di scene dinamiche da video monoculari è un compito cruciale ma impegnativo. Il recente approccio del deformable Gaussian Splatting è emerso come una soluzione robusta per rappresentare scene dinamiche del mondo reale. Tuttavia, spesso porta a una ridondanza eccessiva di Gaussiane, nel tentativo di adattare ogni vista di addestramento a vari istanti temporali, risultando in velocità di rendering più lente. Inoltre, gli attributi delle Gaussiane nelle aree statiche sono invarianti nel tempo, rendendo superfluo modellare ogni Gaussiana, il che può causare tremolii nelle regioni statiche. Nella pratica, il principale collo di bottiglia nella velocità di rendering per le scene dinamiche è il numero di Gaussiane. In risposta, introduciamo l'Efficient Dynamic Gaussian Splatting (EDGS), che rappresenta le scene dinamiche attraverso una modellazione sparsa degli attributi variabili nel tempo. Il nostro approccio formula le scene dinamiche utilizzando una rappresentazione sparsa a griglia di ancore, con il flusso di moto delle Gaussiane dense calcolato tramite una rappresentazione kernel classica. Inoltre, proponiamo una strategia non supervisionata per filtrare efficientemente le ancore corrispondenti alle aree statiche. Solo le ancore associate a oggetti deformabili vengono inserite in MLP per interrogare gli attributi variabili nel tempo. Esperimenti su due dataset del mondo reale dimostrano che il nostro EDGS migliora significativamente la velocità di rendering con una qualità di rendering superiore rispetto ai precedenti metodi all'avanguardia.

English

Rendering dynamic scenes from monocular videos is a crucial yet challenging task. The recent deformable Gaussian Splatting has emerged as a robust solution to represent real-world dynamic scenes. However, it often leads to heavily redundant Gaussians, attempting to fit every training view at various time steps, leading to slower rendering speeds. Additionally, the attributes of Gaussians in static areas are time-invariant, making it unnecessary to model every Gaussian, which can cause jittering in static regions. In practice, the primary bottleneck in rendering speed for dynamic scenes is the number of Gaussians. In response, we introduce Efficient Dynamic Gaussian Splatting (EDGS), which represents dynamic scenes via sparse time-variant attribute modeling. Our approach formulates dynamic scenes using a sparse anchor-grid representation, with the motion flow of dense Gaussians calculated via a classical kernel representation. Furthermore, we propose an unsupervised strategy to efficiently filter out anchors corresponding to static areas. Only anchors associated with deformable objects are input into MLPs to query time-variant attributes. Experiments on two real-world datasets demonstrate that our EDGS significantly improves the rendering speed with superior rendering quality compared to previous state-of-the-art methods.