MotionGS：変形可能な3Dガウスへの明示的なモーションガイダンスの探索

MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting

October 10, 2024

著者: Ruijie Zhu, Yanzhe Liang, Hanzhi Chang, Jiacheng Deng, Jiahao Lu, Wenfei Yang, Tianzhu Zhang, Yongdong Zhang

cs.AI

要旨

3Dビジョンの分野における長期的な課題である動的シーン再構築。最近、3Dガウススプラッティングの登場により、この問題に新たな示唆が与えられました。静的な3Dガウスを動的シーンに迅速に拡張する後続の取り組みはありますが、オブジェクトの動きに明示的な制約が欠如しており、最適化の困難さや性能の低下が生じています。上記の問題に対処するために、私たちはMotionGSと呼ばれる新しい変形可能な3Dガウススプラッティングフレームワークを提案します。このフレームワークは、3Dガウスの変形を導くために明示的な動きの事前情報を探求します。具体的には、最初に光流をカメラフローとモーションフローに分離する光流分離モジュールを導入し、それぞれカメラの移動とオブジェクトの動きに対応させます。その後、モーションフローは3Dガウスの変形を効果的に制約し、動的オブジェクトの動きをシミュレートします。さらに、カメラポーズの改良モジュールが提案され、3Dガウスとカメラポーズを交互に最適化することで、不正確なカメラポーズの影響を軽減します。単眼動的シーンでの幅広い実験により、MotionGSが最先端の手法を凌駕し、質的および量的な結果の両方で著しい優位性を示すことが検証されました。プロジェクトページ：https://ruijiezhu94.github.io/MotionGS_page

English

Dynamic scene reconstruction is a long-term challenge in the field of 3D vision. Recently, the emergence of 3D Gaussian Splatting has provided new insights into this problem. Although subsequent efforts rapidly extend static 3D Gaussian to dynamic scenes, they often lack explicit constraints on object motion, leading to optimization difficulties and performance degradation. To address the above issues, we propose a novel deformable 3D Gaussian splatting framework called MotionGS, which explores explicit motion priors to guide the deformation of 3D Gaussians. Specifically, we first introduce an optical flow decoupling module that decouples optical flow into camera flow and motion flow, corresponding to camera movement and object motion respectively. Then the motion flow can effectively constrain the deformation of 3D Gaussians, thus simulating the motion of dynamic objects. Additionally, a camera pose refinement module is proposed to alternately optimize 3D Gaussians and camera poses, mitigating the impact of inaccurate camera poses. Extensive experiments in the monocular dynamic scenes validate that MotionGS surpasses state-of-the-art methods and exhibits significant superiority in both qualitative and quantitative results. Project page: https://ruijiezhu94.github.io/MotionGS_page