SplineGS：モノクル動画からのリアルタイムダイナミック3Dガウス分布のための頑健なモーション適応スプライン

SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video

December 13, 2024

著者: Jongmin Park, Minh-Quan Viet Bui, Juan Luis Gonzalez Bello, Jaeho Moon, Jihyong Oh, Munchurl Kim

cs.AI

要旨

野生の単眼ビデオから新しい視点を合成することは、シーンのダイナミクスとマルチビューの手掛かりの欠如により、困難です。この課題に対処するために、私たちはSplineGSという、高品質な再構築と高速レンダリングを実現するCOLMAPフリーの動的3Dガウススプラッティング（3DGS）フレームワークを提案します。その中心には、連続的な動的3Dガウス軌跡を少数の制御点を用いて表現する新しいモーション適応スプライン（MAS）手法があります。MASでは、各動的3Dガウスの変動する動きをモデル化するために、進行的に制御点を削減しながら動的モデリングの整合性を維持するモーション適応制御点剪定（MACP）手法を導入しています。さらに、写真メトリックと幾何学的整合性を活用したカメラパラメータ推定と3Dガウス属性のための共同最適化戦略を提案しています。これにより、Structure-from-Motionの前処理が不要となり、SplineGSの現実世界での堅牢性が向上します。実験結果は、SplineGSが単眼ビデオからの動的シーンの新しい視点合成品質において、最先端の手法を大幅に上回り、数千倍の高速レンダリング速度を達成していることを示しています。

English

Synthesizing novel views from in-the-wild monocular videos is challenging due to scene dynamics and the lack of multi-view cues. To address this, we propose SplineGS, a COLMAP-free dynamic 3D Gaussian Splatting (3DGS) framework for high-quality reconstruction and fast rendering from monocular videos. At its core is a novel Motion-Adaptive Spline (MAS) method, which represents continuous dynamic 3D Gaussian trajectories using cubic Hermite splines with a small number of control points. For MAS, we introduce a Motion-Adaptive Control points Pruning (MACP) method to model the deformation of each dynamic 3D Gaussian across varying motions, progressively pruning control points while maintaining dynamic modeling integrity. Additionally, we present a joint optimization strategy for camera parameter estimation and 3D Gaussian attributes, leveraging photometric and geometric consistency. This eliminates the need for Structure-from-Motion preprocessing and enhances SplineGS's robustness in real-world conditions. Experiments show that SplineGS significantly outperforms state-of-the-art methods in novel view synthesis quality for dynamic scenes from monocular videos, achieving thousands times faster rendering speed.