SplineGS: Spline Robusto Adaptativo al Movimiento para Gaussiana 3D Dinámica en Tiempo Real a partir de Video Monocular

SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video

December 13, 2024

Autores: Jongmin Park, Minh-Quan Viet Bui, Juan Luis Gonzalez Bello, Jaeho Moon, Jihyong Oh, Munchurl Kim

cs.AI

Resumen

La síntesis de nuevas vistas a partir de videos monoculares en entornos naturales es un desafío debido a la dinámica de la escena y la falta de señales de múltiples vistas. Para abordar esto, proponemos SplineGS, un marco dinámico de Splatting Gaussiano 3D (3DGS) sin COLMAP para la reconstrucción de alta calidad y renderizado rápido a partir de videos monoculares. En su núcleo se encuentra un novedoso método de Spline Adaptativo al Movimiento (MAS), que representa trayectorias gaussianas 3D dinámicas continuas utilizando splines cúbicos de Hermite con un pequeño número de puntos de control. Para MAS, introducimos un método de Poda de Puntos de Control Adaptativo al Movimiento (MACP) para modelar la deformación de cada gaussiana 3D dinámica a través de movimientos variables, podando progresivamente puntos de control mientras se mantiene la integridad del modelado dinámico. Además, presentamos una estrategia de optimización conjunta para la estimación de parámetros de cámara y atributos gaussianos 3D, aprovechando la consistencia fotométrica y geométrica. Esto elimina la necesidad de preprocesamiento de Estructura a partir del Movimiento y mejora la robustez de SplineGS en condiciones del mundo real. Los experimentos muestran que SplineGS supera significativamente a los métodos de vanguardia en calidad de síntesis de nuevas vistas para escenas dinámicas de videos monoculares, logrando una velocidad de renderizado miles de veces más rápida.

English

Synthesizing novel views from in-the-wild monocular videos is challenging due to scene dynamics and the lack of multi-view cues. To address this, we propose SplineGS, a COLMAP-free dynamic 3D Gaussian Splatting (3DGS) framework for high-quality reconstruction and fast rendering from monocular videos. At its core is a novel Motion-Adaptive Spline (MAS) method, which represents continuous dynamic 3D Gaussian trajectories using cubic Hermite splines with a small number of control points. For MAS, we introduce a Motion-Adaptive Control points Pruning (MACP) method to model the deformation of each dynamic 3D Gaussian across varying motions, progressively pruning control points while maintaining dynamic modeling integrity. Additionally, we present a joint optimization strategy for camera parameter estimation and 3D Gaussian attributes, leveraging photometric and geometric consistency. This eliminates the need for Structure-from-Motion preprocessing and enhances SplineGS's robustness in real-world conditions. Experiments show that SplineGS significantly outperforms state-of-the-art methods in novel view synthesis quality for dynamic scenes from monocular videos, achieving thousands times faster rendering speed.