MoDec-GS : Décomposition du Mouvement Global en Local et Ajustement des Intervals Temporels pour un Étalement Gaussien Dynamique 3D Compact.

MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

January 7, 2025

Auteurs: Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

cs.AI

Résumé

La technique de Splatting Gaussien en 3D (3DGS) a réalisé des avancées significatives dans la représentation de scènes et le rendu neuronal, avec des efforts intenses concentrés sur son adaptation aux scènes dynamiques. Malgré la qualité et la vitesse de rendu remarquables qu'elle offre, les méthodes existantes peinent avec les exigences de stockage et la représentation des mouvements complexes du monde réel. Pour résoudre ces problèmes, nous proposons MoDecGS, un cadre de Splatting Gaussien à efficacité mémoire conçu pour reconstruire de nouvelles vues dans des scénarios complexes avec des mouvements complexes. Nous introduisons la Décomposition de Mouvement Globale en Local (GLMD) pour capturer efficacement les mouvements dynamiques de manière grossière à fine. Cette approche exploite les Échafaudages Canoniques Globaux (Global CS) et les Échafaudages Canoniques Locaux (Local CS), étendant la représentation statique des Échafaudages à la reconstruction vidéo dynamique. Pour les Global CS, nous proposons la Déformation d'Ancrage Globale (GAD) pour représenter efficacement les dynamiques globales le long de mouvements complexes, en déformant directement les attributs implicites de l'Échafaudage qui sont la position de l'ancre, le décalage et les caractéristiques de contexte local. Ensuite, nous ajustons finement les mouvements locaux via la Déformation Gaussienne Locale (LGD) des Local CS de manière explicite. De plus, nous introduisons l'Ajustement d'Intervalle Temporel (TIA) pour contrôler automatiquement la couverture temporelle de chaque Local CS pendant l'entraînement, permettant à MoDecGS de trouver des affectations d'intervalles optimales en fonction du nombre spécifié de segments temporels. Des évaluations approfondies démontrent que MoDecGS atteint une réduction moyenne de 70 % de la taille du modèle par rapport aux méthodes de pointe pour les Gaussiennes 3D dynamiques à partir de vidéos dynamiques du monde réel, tout en maintenant ou même en améliorant la qualité du rendu.

English

3D Gaussian Splatting (3DGS) has made significant strides in scene representation and neural rendering, with intense efforts focused on adapting it for dynamic scenes. Despite delivering remarkable rendering quality and speed, existing methods struggle with storage demands and representing complex real-world motions. To tackle these issues, we propose MoDecGS, a memory-efficient Gaussian splatting framework designed for reconstructing novel views in challenging scenarios with complex motions. We introduce GlobaltoLocal Motion Decomposition (GLMD) to effectively capture dynamic motions in a coarsetofine manner. This approach leverages Global Canonical Scaffolds (Global CS) and Local Canonical Scaffolds (Local CS), extending static Scaffold representation to dynamic video reconstruction. For Global CS, we propose Global Anchor Deformation (GAD) to efficiently represent global dynamics along complex motions, by directly deforming the implicit Scaffold attributes which are anchor position, offset, and local context features. Next, we finely adjust local motions via the Local Gaussian Deformation (LGD) of Local CS explicitly. Additionally, we introduce Temporal Interval Adjustment (TIA) to automatically control the temporal coverage of each Local CS during training, allowing MoDecGS to find optimal interval assignments based on the specified number of temporal segments. Extensive evaluations demonstrate that MoDecGS achieves an average 70% reduction in model size over stateoftheart methods for dynamic 3D Gaussians from realworld dynamic videos while maintaining or even improving rendering quality.