SplineGS : Spline robuste adaptatif au mouvement pour des Gaussiennes 3D dynamiques en temps réel à partir de vidéos monoculaires

SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video

December 13, 2024

Auteurs: Jongmin Park, Minh-Quan Viet Bui, Juan Luis Gonzalez Bello, Jaeho Moon, Jihyong Oh, Munchurl Kim

cs.AI

Résumé

La synthèse de nouvelles vues à partir de vidéos monoclaires en conditions réelles est un défi en raison de la dynamique de la scène et du manque de repères multi-vues. Pour y remédier, nous proposons SplineGS, un cadre dynamique de Splatting Gaussien 3D (3DGS) sans COLMAP pour une reconstruction de haute qualité et un rendu rapide à partir de vidéos monoclaires. À son cœur se trouve une nouvelle méthode de Splines adaptatives au mouvement (MAS), qui représente des trajectoires gaussiennes 3D dynamiques continues en utilisant des splines cubiques d'Hermite avec un petit nombre de points de contrôle. Pour le MAS, nous introduisons une méthode d'Élagage de Points de Contrôle Adaptatif au Mouvement (MACP) pour modéliser la déformation de chaque gaussienne 3D dynamique à travers des mouvements variables, en élaguant progressivement les points de contrôle tout en maintenant l'intégrité de la modélisation dynamique. De plus, nous présentons une stratégie d'optimisation conjointe pour l'estimation des paramètres de la caméra et des attributs gaussiens 3D, en exploitant la cohérence photométrique et géométrique. Cela élimine le besoin de prétraitement de Structure à partir du Mouvement et renforce la robustesse de SplineGS dans des conditions réelles. Les expériences montrent que SplineGS surpasse significativement les méthodes de pointe en termes de qualité de synthèse de nouvelles vues pour des scènes dynamiques à partir de vidéos monoclaires, atteignant une vitesse de rendu des milliers de fois plus rapide.

English

Synthesizing novel views from in-the-wild monocular videos is challenging due to scene dynamics and the lack of multi-view cues. To address this, we propose SplineGS, a COLMAP-free dynamic 3D Gaussian Splatting (3DGS) framework for high-quality reconstruction and fast rendering from monocular videos. At its core is a novel Motion-Adaptive Spline (MAS) method, which represents continuous dynamic 3D Gaussian trajectories using cubic Hermite splines with a small number of control points. For MAS, we introduce a Motion-Adaptive Control points Pruning (MACP) method to model the deformation of each dynamic 3D Gaussian across varying motions, progressively pruning control points while maintaining dynamic modeling integrity. Additionally, we present a joint optimization strategy for camera parameter estimation and 3D Gaussian attributes, leveraging photometric and geometric consistency. This eliminates the need for Structure-from-Motion preprocessing and enhances SplineGS's robustness in real-world conditions. Experiments show that SplineGS significantly outperforms state-of-the-art methods in novel view synthesis quality for dynamic scenes from monocular videos, achieving thousands times faster rendering speed.