MoDec-GS: Globale-naar-Lokale Bewegingsdecompositie en Temporele Interval Aanpassing voor Compacte Dynamische 3D Gaussische Splatting

MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

January 7, 2025

Auteurs: Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

cs.AI

Samenvatting

3D Gaussian Splatting (3DGS) heeft aanzienlijke vooruitgang geboekt in scène-representatie en neurale rendering, waarbij intensieve inspanningen gericht zijn op het aanpassen ervan voor dynamische scènes. Ondanks opmerkelijke renderingkwaliteit en snelheid te leveren, hebben bestaande methoden moeite met opslagvereisten en het representeren van complexe real-world bewegingen. Om deze problemen aan te pakken, stellen we MoDecGS voor, een geheugenefficiënt Gaussian splatting-framework dat is ontworpen voor het reconstrueren van nieuwe weergaven in uitdagende scenario's met complexe bewegingen. We introduceren GlobaltoLocal Motion Decomposition (GLMD) om dynamische bewegingen effectief op een grof-naar-fijn manier vast te leggen. Deze aanpak maakt gebruik van Global Canonical Scaffolds (Global CS) en Local Canonical Scaffolds (Local CS), waarbij de statische Scaffolding-representatie wordt uitgebreid naar dynamische videoreconstructie. Voor Global CS stellen we Global Anchor Deformation (GAD) voor om globale dynamiek efficiënt te representeren langs complexe bewegingen, door rechtstreeks de impliciete Scaffolding-attributen te vervormen, namelijk ankerpositie, offset en lokale contextkenmerken. Vervolgens passen we lokale bewegingen fijn aan via de Local Gaussian Deformation (LGD) van Local CS expliciet. Daarnaast introduceren we Temporal Interval Adjustment (TIA) om automatisch de temporale dekking van elke Local CS tijdens training te regelen, waardoor MoDecGS optimale intervaltoewijzingen kan vinden op basis van het gespecificeerde aantal temporale segmenten. Uitgebreide evaluaties tonen aan dat MoDecGS een gemiddelde vermindering van 70% in modelgrootte bereikt ten opzichte van state-of-the-art methoden voor dynamische 3D Gaussians uit real-world dynamische video's, terwijl de renderingkwaliteit behouden blijft of zelfs verbetert.

English

3D Gaussian Splatting (3DGS) has made significant strides in scene representation and neural rendering, with intense efforts focused on adapting it for dynamic scenes. Despite delivering remarkable rendering quality and speed, existing methods struggle with storage demands and representing complex real-world motions. To tackle these issues, we propose MoDecGS, a memory-efficient Gaussian splatting framework designed for reconstructing novel views in challenging scenarios with complex motions. We introduce GlobaltoLocal Motion Decomposition (GLMD) to effectively capture dynamic motions in a coarsetofine manner. This approach leverages Global Canonical Scaffolds (Global CS) and Local Canonical Scaffolds (Local CS), extending static Scaffold representation to dynamic video reconstruction. For Global CS, we propose Global Anchor Deformation (GAD) to efficiently represent global dynamics along complex motions, by directly deforming the implicit Scaffold attributes which are anchor position, offset, and local context features. Next, we finely adjust local motions via the Local Gaussian Deformation (LGD) of Local CS explicitly. Additionally, we introduce Temporal Interval Adjustment (TIA) to automatically control the temporal coverage of each Local CS during training, allowing MoDecGS to find optimal interval assignments based on the specified number of temporal segments. Extensive evaluations demonstrate that MoDecGS achieves an average 70% reduction in model size over stateoftheart methods for dynamic 3D Gaussians from realworld dynamic videos while maintaining or even improving rendering quality.