SplineGS: Spline Robusto Adaptativo ao Movimento para Gaussiana 3D Dinâmica em Tempo Real a partir de Vídeo Monocular

SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video

December 13, 2024

Autores: Jongmin Park, Minh-Quan Viet Bui, Juan Luis Gonzalez Bello, Jaeho Moon, Jihyong Oh, Munchurl Kim

cs.AI

Resumo

Sintetizar novas visualizações a partir de vídeos monoculares em ambientes naturais é desafiador devido à dinâmica da cena e à falta de pistas de múltiplas visualizações. Para lidar com isso, propomos o SplineGS, um framework dinâmico de Splatting Gaussiano 3D (3DGS) sem COLMAP para reconstrução de alta qualidade e renderização rápida a partir de vídeos monoculares. Em seu núcleo, há um novo método Spline Adaptativo ao Movimento (MAS), que representa trajetórias gaussianas 3D dinâmicas contínuas usando splines cúbicas de Hermite com um pequeno número de pontos de controle. Para o MAS, introduzimos um método de Poda de Pontos de Controle Adaptativo ao Movimento (MACP) para modelar a deformação de cada gaussiana 3D dinâmica em diferentes movimentos, podando progressivamente os pontos de controle enquanto mantemos a integridade da modelagem dinâmica. Além disso, apresentamos uma estratégia de otimização conjunta para estimativa de parâmetros da câmera e atributos gaussianos 3D, aproveitando a consistência fotométrica e geométrica. Isso elimina a necessidade de pré-processamento de Estrutura a Partir do Movimento e aprimora a robustez do SplineGS em condições do mundo real. Experimentos mostram que o SplineGS supera significativamente os métodos de ponta na qualidade de síntese de novas visualizações para cenas dinâmicas de vídeos monoculares, alcançando uma velocidade de renderização milhares de vezes mais rápida.

English

Synthesizing novel views from in-the-wild monocular videos is challenging due to scene dynamics and the lack of multi-view cues. To address this, we propose SplineGS, a COLMAP-free dynamic 3D Gaussian Splatting (3DGS) framework for high-quality reconstruction and fast rendering from monocular videos. At its core is a novel Motion-Adaptive Spline (MAS) method, which represents continuous dynamic 3D Gaussian trajectories using cubic Hermite splines with a small number of control points. For MAS, we introduce a Motion-Adaptive Control points Pruning (MACP) method to model the deformation of each dynamic 3D Gaussian across varying motions, progressively pruning control points while maintaining dynamic modeling integrity. Additionally, we present a joint optimization strategy for camera parameter estimation and 3D Gaussian attributes, leveraging photometric and geometric consistency. This eliminates the need for Structure-from-Motion preprocessing and enhances SplineGS's robustness in real-world conditions. Experiments show that SplineGS significantly outperforms state-of-the-art methods in novel view synthesis quality for dynamic scenes from monocular videos, achieving thousands times faster rendering speed.