Effizientes Gauss'sches Splatting zur monokularen dynamischen Szenenrendering durch sparsame zeitvariante Attributmodellierung.

Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling

February 27, 2025

Autoren: Hanyang Kong, Xingyi Yang, Xinchao Wang

cs.AI

Zusammenfassung

Die Darstellung dynamischer Szenen aus monokularen Videos ist eine entscheidende, aber anspruchsvolle Aufgabe. Die kürzlich entwickelte deformierbare Gauß-Splatting-Technik hat sich als robuste Lösung zur Darstellung realer dynamischer Szenen erwiesen. Allerdings führt sie oft zu stark redundanten Gaußschen Funktionen, die versuchen, jede Trainingsansicht zu verschiedenen Zeitpunkten anzupassen, was zu langsameren Rendergeschwindigkeiten führt. Darüber hinaus sind die Attribute der Gaußschen Funktionen in statischen Bereichen zeitinvariant, wodurch es unnötig ist, jede Gaußsche Funktion zu modellieren, was zu Flackern in statischen Regionen führen kann. In der Praxis ist der Hauptengpass bei der Rendergeschwindigkeit für dynamische Szenen die Anzahl der Gaußschen Funktionen. Als Antwort darauf führen wir Efficient Dynamic Gaussian Splatting (EDGS) ein, das dynamische Szenen über eine spärliche zeitvariante Attributmodellierung darstellt. Unser Ansatz formuliert dynamische Szenen mithilfe einer spärlichen Anker-Gitter-Repräsentation, wobei die Bewegungsfluss der dichten Gaußschen Funktionen über eine klassische Kernel-Repräsentation berechnet wird. Darüber hinaus schlagen wir eine unüberwachte Strategie vor, um Ankerpunkte, die statischen Bereichen entsprechen, effizient herauszufiltern. Nur Ankerpunkte, die mit verformbaren Objekten verbunden sind, werden in MLPs eingegeben, um zeitvariante Attribute abzufragen. Experimente mit zwei realen Datensätzen zeigen, dass unser EDGS die Rendergeschwindigkeit signifikant verbessert und im Vergleich zu früheren State-of-the-Art-Methoden eine überlegene Renderqualität bietet.

English

Rendering dynamic scenes from monocular videos is a crucial yet challenging task. The recent deformable Gaussian Splatting has emerged as a robust solution to represent real-world dynamic scenes. However, it often leads to heavily redundant Gaussians, attempting to fit every training view at various time steps, leading to slower rendering speeds. Additionally, the attributes of Gaussians in static areas are time-invariant, making it unnecessary to model every Gaussian, which can cause jittering in static regions. In practice, the primary bottleneck in rendering speed for dynamic scenes is the number of Gaussians. In response, we introduce Efficient Dynamic Gaussian Splatting (EDGS), which represents dynamic scenes via sparse time-variant attribute modeling. Our approach formulates dynamic scenes using a sparse anchor-grid representation, with the motion flow of dense Gaussians calculated via a classical kernel representation. Furthermore, we propose an unsupervised strategy to efficiently filter out anchors corresponding to static areas. Only anchors associated with deformable objects are input into MLPs to query time-variant attributes. Experiments on two real-world datasets demonstrate that our EDGS significantly improves the rendering speed with superior rendering quality compared to previous state-of-the-art methods.