MoDec-GS: Globale-zu-lokale Bewegungszerlegung und zeitliches Intervallanpassung für kompakte dynamische 3D-Gauß-Splatting.

MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

January 7, 2025

Autoren: Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

cs.AI

Zusammenfassung

Die 3D-Gauß-Splatting (3DGS) hat bedeutende Fortschritte bei der Szenendarstellung und dem neuronalen Rendern gemacht, wobei intensive Bemühungen darauf gerichtet waren, sie für dynamische Szenen anzupassen. Trotz der bemerkenswerten Rendering-Qualität und -Geschwindigkeit haben bestehende Methoden Schwierigkeiten mit Speicheranforderungen und der Darstellung komplexer realer Bewegungen. Um diese Probleme anzugehen, schlagen wir MoDecGS vor, ein speicher-effizientes Gauß-Splatting-Framework, das für die Rekonstruktion neuer Ansichten in anspruchsvollen Szenarien mit komplexen Bewegungen entwickelt wurde. Wir führen die globale-zu-lokale Bewegungszerlegung (GLMD) ein, um dynamische Bewegungen in grob-zu-fein-Weise effektiv zu erfassen. Dieser Ansatz nutzt globale kanonische Gerüste (Global CS) und lokale kanonische Gerüste (Local CS) und erweitert die statische Gerüstdarstellung auf die dynamische Videorekonstruktion. Für Global CS schlagen wir die globale Ankerdeformation (GAD) vor, um globale Dynamiken entlang komplexer Bewegungen effizient darzustellen, indem die impliziten Gerüstattribute direkt deformiert werden, nämlich Ankerposition, Versatz und lokale Kontextmerkmale. Anschließend passen wir die lokalen Bewegungen über die lokale gaußsche Deformation (LGD) von Local CS explizit an. Darüber hinaus führen wir die temporale Intervallanpassung (TIA) ein, um während des Trainings automatisch die zeitliche Abdeckung jedes Local CS zu steuern, was MoDecGS ermöglicht, optimale Intervallzuweisungen basierend auf der angegebenen Anzahl von zeitlichen Segmenten zu finden. Umfangreiche Bewertungen zeigen, dass MoDecGS eine durchschnittliche 70%ige Reduzierung der Modellgröße im Vergleich zu State-of-the-Art-Methoden für dynamische 3D-Gaußsche aus realen dynamischen Videos erreicht, während die Rendering-Qualität beibehalten oder sogar verbessert wird.

English

3D Gaussian Splatting (3DGS) has made significant strides in scene representation and neural rendering, with intense efforts focused on adapting it for dynamic scenes. Despite delivering remarkable rendering quality and speed, existing methods struggle with storage demands and representing complex real-world motions. To tackle these issues, we propose MoDecGS, a memory-efficient Gaussian splatting framework designed for reconstructing novel views in challenging scenarios with complex motions. We introduce GlobaltoLocal Motion Decomposition (GLMD) to effectively capture dynamic motions in a coarsetofine manner. This approach leverages Global Canonical Scaffolds (Global CS) and Local Canonical Scaffolds (Local CS), extending static Scaffold representation to dynamic video reconstruction. For Global CS, we propose Global Anchor Deformation (GAD) to efficiently represent global dynamics along complex motions, by directly deforming the implicit Scaffold attributes which are anchor position, offset, and local context features. Next, we finely adjust local motions via the Local Gaussian Deformation (LGD) of Local CS explicitly. Additionally, we introduce Temporal Interval Adjustment (TIA) to automatically control the temporal coverage of each Local CS during training, allowing MoDecGS to find optimal interval assignments based on the specified number of temporal segments. Extensive evaluations demonstrate that MoDecGS achieves an average 70% reduction in model size over stateoftheart methods for dynamic 3D Gaussians from realworld dynamic videos while maintaining or even improving rendering quality.