SplineGS: Robuuste Bewegingsadaptieve Spline voor Real-Time Dynamische 3D Gaussians uit Monoculair Video

SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video

December 13, 2024

Auteurs: Jongmin Park, Minh-Quan Viet Bui, Juan Luis Gonzalez Bello, Jaeho Moon, Jihyong Oh, Munchurl Kim

cs.AI

Samenvatting

Het synthetiseren van nieuwe perspectieven van in-the-wild monoculaire video's is uitdagend vanwege scènedynamiek en het ontbreken van multi-view aanwijzingen. Om dit aan te pakken, stellen we SplineGS voor, een COLMAP-vrije dynamische 3D Gaussian Splatting (3DGS) framework voor hoogwaardige reconstructie en snelle rendering van monoculaire video's. In de kern ervan bevindt zich een nieuw Motion-Adaptive Spline (MAS) methode, die continue dynamische 3D Gaussian-trajecten vertegenwoordigt met behulp van kubische Hermite-splines met een klein aantal controlepunten. Voor MAS introduceren we een Motion-Adaptive Control points Pruning (MACP) methode om de vervorming van elke dynamische 3D Gaussian bij verschillende bewegingen te modelleren, waarbij controlepunten progressief worden weggesnoeid terwijl de integriteit van dynamische modellering behouden blijft. Daarnaast presenteren we een gezamenlijke optimalisatiestrategie voor schatting van cameraparameters en 3D Gaussian attributen, waarbij gebruik wordt gemaakt van fotometrische en geometrische consistentie. Dit elimineert de noodzaak voor Structure-from-Motion voorverwerking en verbetert de robuustheid van SplineGS in real-world omstandigheden. Experimenten tonen aan dat SplineGS aanzienlijk beter presteert dan state-of-the-art methoden in kwaliteit van synthese van nieuwe perspectieven voor dynamische scènes van monoculaire video's, met een renderingssnelheid die duizenden keren sneller is.

English

Synthesizing novel views from in-the-wild monocular videos is challenging due to scene dynamics and the lack of multi-view cues. To address this, we propose SplineGS, a COLMAP-free dynamic 3D Gaussian Splatting (3DGS) framework for high-quality reconstruction and fast rendering from monocular videos. At its core is a novel Motion-Adaptive Spline (MAS) method, which represents continuous dynamic 3D Gaussian trajectories using cubic Hermite splines with a small number of control points. For MAS, we introduce a Motion-Adaptive Control points Pruning (MACP) method to model the deformation of each dynamic 3D Gaussian across varying motions, progressively pruning control points while maintaining dynamic modeling integrity. Additionally, we present a joint optimization strategy for camera parameter estimation and 3D Gaussian attributes, leveraging photometric and geometric consistency. This eliminates the need for Structure-from-Motion preprocessing and enhances SplineGS's robustness in real-world conditions. Experiments show that SplineGS significantly outperforms state-of-the-art methods in novel view synthesis quality for dynamic scenes from monocular videos, achieving thousands times faster rendering speed.