Éclaboussage gaussien efficace pour le rendu de scènes dynamiques monoculaires via la modélisation des attributs rares et variant dans le temps.

Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling

February 27, 2025

Auteurs: Hanyang Kong, Xingyi Yang, Xinchao Wang

cs.AI

Résumé

Rendre des scènes dynamiques à partir de vidéos monoculaires est une tâche cruciale mais difficile. La technique récente de Splatting Gaussien déformable s'est imposée comme une solution robuste pour représenter des scènes dynamiques du monde réel. Cependant, elle conduit souvent à des Gaussiennes fortement redondantes, cherchant à s'adapter à chaque vue d'entraînement à différents moments, ce qui ralentit la vitesse de rendu. De plus, les attributs des Gaussiennes dans les zones statiques sont invariants dans le temps, ce qui rend inutile de modéliser chaque Gaussienne, ce qui peut provoquer des tremblements dans les régions statiques. En pratique, le principal goulot d'étranglement en termes de vitesse de rendu pour les scènes dynamiques est le nombre de Gaussiennes. En réponse, nous introduisons le Splatting Gaussien Dynamique Efficace (EDGS), qui représente les scènes dynamiques via une modélisation d'attributs variant dans le temps et épars. Notre approche formule les scènes dynamiques en utilisant une représentation en grille d'ancrages épars, avec le flux de mouvement des Gaussiennes denses calculé via une représentation de noyau classique. De plus, nous proposons une stratégie non supervisée pour filtrer efficacement les ancres correspondant aux zones statiques. Seules les ancres associées aux objets déformables sont entrées dans des MLP pour interroger les attributs variant dans le temps. Des expériences sur deux ensembles de données du monde réel démontrent que notre EDGS améliore significativement la vitesse de rendu tout en offrant une qualité de rendu supérieure par rapport aux méthodes précédentes de pointe.

English

Rendering dynamic scenes from monocular videos is a crucial yet challenging task. The recent deformable Gaussian Splatting has emerged as a robust solution to represent real-world dynamic scenes. However, it often leads to heavily redundant Gaussians, attempting to fit every training view at various time steps, leading to slower rendering speeds. Additionally, the attributes of Gaussians in static areas are time-invariant, making it unnecessary to model every Gaussian, which can cause jittering in static regions. In practice, the primary bottleneck in rendering speed for dynamic scenes is the number of Gaussians. In response, we introduce Efficient Dynamic Gaussian Splatting (EDGS), which represents dynamic scenes via sparse time-variant attribute modeling. Our approach formulates dynamic scenes using a sparse anchor-grid representation, with the motion flow of dense Gaussians calculated via a classical kernel representation. Furthermore, we propose an unsupervised strategy to efficiently filter out anchors corresponding to static areas. Only anchors associated with deformable objects are input into MLPs to query time-variant attributes. Experiments on two real-world datasets demonstrate that our EDGS significantly improves the rendering speed with superior rendering quality compared to previous state-of-the-art methods.