Efficiënt Gaussian Splatting voor het renderen van monoculair dynamische scènes via schaarse tijd-variante attribuutmodellering.

Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling

February 27, 2025

Auteurs: Hanyang Kong, Xingyi Yang, Xinchao Wang

cs.AI

Samenvatting

Het renderen van dynamische scènes van monoculaire video's is een cruciale maar uitdagende taak. De recente methode van vervormbare Gaussische Splatting is naar voren gekomen als een robuuste oplossing om echte dynamische scènes weer te geven. Echter, het leidt vaak tot sterk redundante Gaussians, die proberen elke trainingsweergave op verschillende tijdstappen te passen, wat resulteert in langzamere renderingsnelheden. Bovendien zijn de eigenschappen van Gaussians in statische gebieden tijdinvariant, waardoor het onnodig is om elke Gaussian te modelleren, wat kan leiden tot schokken in statische regio's. In de praktijk is de belangrijkste beperking in renderingsnelheid voor dynamische scènes het aantal Gaussians. Als reactie introduceren we Efficiënte Dynamische Gaussische Splatting (EDGS), die dynamische scènes vertegenwoordigt via schaarse tijdvariante attribuutmodellering. Onze aanpak formuleert dynamische scènes met behulp van een schaarse ankerrooster representatie, waarbij de bewegingsstroom van dichte Gaussians wordt berekend via een klassieke kernel representatie. Bovendien stellen we een ongesuperviseerde strategie voor om efficiënt ankers te filteren die overeenkomen met statische gebieden. Alleen ankers die verband houden met vervormbare objecten worden ingevoerd in MLP's om tijdvariante attributen op te vragen. Experimenten op twee real-world datasets tonen aan dat onze EDGS aanzienlijk de renderingsnelheid verbetert met superieure renderkwaliteit in vergelijking met eerdere state-of-the-art methoden.

English

Rendering dynamic scenes from monocular videos is a crucial yet challenging task. The recent deformable Gaussian Splatting has emerged as a robust solution to represent real-world dynamic scenes. However, it often leads to heavily redundant Gaussians, attempting to fit every training view at various time steps, leading to slower rendering speeds. Additionally, the attributes of Gaussians in static areas are time-invariant, making it unnecessary to model every Gaussian, which can cause jittering in static regions. In practice, the primary bottleneck in rendering speed for dynamic scenes is the number of Gaussians. In response, we introduce Efficient Dynamic Gaussian Splatting (EDGS), which represents dynamic scenes via sparse time-variant attribute modeling. Our approach formulates dynamic scenes using a sparse anchor-grid representation, with the motion flow of dense Gaussians calculated via a classical kernel representation. Furthermore, we propose an unsupervised strategy to efficiently filter out anchors corresponding to static areas. Only anchors associated with deformable objects are input into MLPs to query time-variant attributes. Experiments on two real-world datasets demonstrate that our EDGS significantly improves the rendering speed with superior rendering quality compared to previous state-of-the-art methods.