SplineGS: Robuste, bewegungsadaptive Spline für Echtzeit-Dynamik von 3D-Gaußschen aus monokularem Video

SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video

December 13, 2024

Autoren: Jongmin Park, Minh-Quan Viet Bui, Juan Luis Gonzalez Bello, Jaeho Moon, Jihyong Oh, Munchurl Kim

cs.AI

Zusammenfassung

Die Synthese neuer Ansichten aus monokularen Videos in natürlicher Umgebung ist aufgrund der Szenendynamik und des Mangels an Multi-View-Hinweisen eine Herausforderung. Um dies zu bewältigen, schlagen wir SplineGS vor, ein COLMAP-freies dynamisches 3D-Gauß-Splatting (3DGS)-Framework für hochwertige Rekonstruktion und schnelles Rendern aus monokularen Videos. Im Kern steht eine neuartige Motion-Adaptive Spline (MAS)-Methode, die kontinuierliche dynamische 3D-Gauß-Trajektorien mithilfe kubischer Hermite-Splines mit einer geringen Anzahl von Kontrollpunkten darstellt. Für MAS führen wir eine Motion-Adaptive Control Points Pruning (MACP)-Methode ein, um die Deformation jedes dynamischen 3D-Gauß über verschiedene Bewegungen hinweg zu modellieren, wobei schrittweise Kontrollpunkte beschnitten werden, während die Integrität des dynamischen Modells erhalten bleibt. Darüber hinaus präsentieren wir eine gemeinsame Optimierungsstrategie für die Schätzung der Kameraparameter und der 3D-Gauß-Merkmale, die photometrische und geometrische Konsistenz nutzt. Dies beseitigt die Notwendigkeit einer Struktur-aus-Bewegung-Vorverarbeitung und verbessert die Robustheit von SplineGS unter realen Bedingungen. Experimente zeigen, dass SplineGS die Leistung von State-of-the-Art-Methoden bei der Qualität der Synthese neuer Ansichten für dynamische Szenen aus monokularen Videos signifikant übertrifft und eine um Tausende Male schnellere Rendegeschwindigkeit erreicht.

English

Synthesizing novel views from in-the-wild monocular videos is challenging due to scene dynamics and the lack of multi-view cues. To address this, we propose SplineGS, a COLMAP-free dynamic 3D Gaussian Splatting (3DGS) framework for high-quality reconstruction and fast rendering from monocular videos. At its core is a novel Motion-Adaptive Spline (MAS) method, which represents continuous dynamic 3D Gaussian trajectories using cubic Hermite splines with a small number of control points. For MAS, we introduce a Motion-Adaptive Control points Pruning (MACP) method to model the deformation of each dynamic 3D Gaussian across varying motions, progressively pruning control points while maintaining dynamic modeling integrity. Additionally, we present a joint optimization strategy for camera parameter estimation and 3D Gaussian attributes, leveraging photometric and geometric consistency. This eliminates the need for Structure-from-Motion preprocessing and enhances SplineGS's robustness in real-world conditions. Experiments show that SplineGS significantly outperforms state-of-the-art methods in novel view synthesis quality for dynamic scenes from monocular videos, achieving thousands times faster rendering speed.