MoDec-GS: Descomposición de Movimiento Global a Local y Ajuste de Intervalo Temporal para Splatting Gaussiano Dinámico 3D Compacto

MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

January 7, 2025

Autores: Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

cs.AI

Resumen

La técnica de Splatting Gaussiano 3D (3DGS) ha logrado avances significativos en la representación de escenas y el renderizado neuronal, con esfuerzos intensos centrados en adaptarlo a escenas dinámicas. A pesar de ofrecer una calidad de renderizado y velocidad notables, los métodos existentes tienen dificultades con las demandas de almacenamiento y la representación de movimientos complejos del mundo real. Para abordar estos problemas, proponemos MoDecGS, un marco de trabajo de Splatting Gaussiano eficiente en memoria diseñado para reconstruir vistas novedosas en escenarios desafiantes con movimientos complejos. Introducimos la Descomposición de Movimiento de Global a Local (GLMD) para capturar de manera efectiva los movimientos dinámicos de manera de gruesa a fina. Este enfoque aprovecha los Andamios Canónicos Globales (Global CS) y los Andamios Canónicos Locales (Local CS), extendiendo la representación de Andamios estáticos a la reconstrucción de videos dinámicos. Para Global CS, proponemos la Deformación de Anclaje Global (GAD) para representar eficientemente dinámicas globales a lo largo de movimientos complejos, deformando directamente los atributos implícitos del Andamio que son la posición del anclaje, el desplazamiento y las características de contexto local. A continuación, ajustamos finamente los movimientos locales a través de la Deformación Gaussiana Local (LGD) de Local CS de manera explícita. Además, introducimos el Ajuste de Intervalo Temporal (TIA) para controlar automáticamente la cobertura temporal de cada Local CS durante el entrenamiento, permitiendo a MoDecGS encontrar asignaciones óptimas de intervalos basadas en el número especificado de segmentos temporales. Evaluaciones extensas demuestran que MoDecGS logra una reducción promedio del 70% en el tamaño del modelo en comparación con los métodos de vanguardia para Gaussiano 3D dinámico de videos dinámicos del mundo real, manteniendo o incluso mejorando la calidad de renderizado.

English

3D Gaussian Splatting (3DGS) has made significant strides in scene representation and neural rendering, with intense efforts focused on adapting it for dynamic scenes. Despite delivering remarkable rendering quality and speed, existing methods struggle with storage demands and representing complex real-world motions. To tackle these issues, we propose MoDecGS, a memory-efficient Gaussian splatting framework designed for reconstructing novel views in challenging scenarios with complex motions. We introduce GlobaltoLocal Motion Decomposition (GLMD) to effectively capture dynamic motions in a coarsetofine manner. This approach leverages Global Canonical Scaffolds (Global CS) and Local Canonical Scaffolds (Local CS), extending static Scaffold representation to dynamic video reconstruction. For Global CS, we propose Global Anchor Deformation (GAD) to efficiently represent global dynamics along complex motions, by directly deforming the implicit Scaffold attributes which are anchor position, offset, and local context features. Next, we finely adjust local motions via the Local Gaussian Deformation (LGD) of Local CS explicitly. Additionally, we introduce Temporal Interval Adjustment (TIA) to automatically control the temporal coverage of each Local CS during training, allowing MoDecGS to find optimal interval assignments based on the specified number of temporal segments. Extensive evaluations demonstrate that MoDecGS achieves an average 70% reduction in model size over stateoftheart methods for dynamic 3D Gaussians from realworld dynamic videos while maintaining or even improving rendering quality.