MotionGS : Exploration de la guidance explicite du mouvement pour le lissage gaussien 3D déformable.

MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting

October 10, 2024

Auteurs: Ruijie Zhu, Yanzhe Liang, Hanzhi Chang, Jiacheng Deng, Jiahao Lu, Wenfei Yang, Tianzhu Zhang, Yongdong Zhang

cs.AI

Résumé

La reconstruction dynamique de scènes est un défi à long terme dans le domaine de la vision 3D. Récemment, l'émergence du Splatting Gaussien en 3D a apporté de nouvelles perspectives à ce problème. Bien que des efforts ultérieurs étendent rapidement les Gaussiennes 3D statiques aux scènes dynamiques, ils manquent souvent de contraintes explicites sur le mouvement des objets, ce qui entraîne des difficultés d'optimisation et une dégradation des performances. Pour résoudre les problèmes susmentionnés, nous proposons un nouveau cadre de splatting gaussien 3D déformable appelé MotionGS, qui explore des contraintes de mouvement explicites pour guider la déformation des Gaussiennes 3D. Plus précisément, nous introduisons d'abord un module de découplage du flux optique qui sépare le flux optique en flux de caméra et flux de mouvement, correspondant respectivement au mouvement de la caméra et au mouvement de l'objet. Ensuite, le flux de mouvement peut efficacement contraindre la déformation des Gaussiennes 3D, simulant ainsi le mouvement des objets dynamiques. De plus, un module de raffinement de la pose de la caméra est proposé pour optimiser alternativement les Gaussiennes 3D et les poses de caméra, atténuant l'impact des poses de caméra inexactes. Des expériences approfondies dans des scènes dynamiques monoculaires valident que MotionGS surpasse les méthodes de pointe et présente une supériorité significative à la fois en termes de résultats qualitatifs et quantitatifs. Page du projet : https://ruijiezhu94.github.io/MotionGS_page

English

Dynamic scene reconstruction is a long-term challenge in the field of 3D vision. Recently, the emergence of 3D Gaussian Splatting has provided new insights into this problem. Although subsequent efforts rapidly extend static 3D Gaussian to dynamic scenes, they often lack explicit constraints on object motion, leading to optimization difficulties and performance degradation. To address the above issues, we propose a novel deformable 3D Gaussian splatting framework called MotionGS, which explores explicit motion priors to guide the deformation of 3D Gaussians. Specifically, we first introduce an optical flow decoupling module that decouples optical flow into camera flow and motion flow, corresponding to camera movement and object motion respectively. Then the motion flow can effectively constrain the deformation of 3D Gaussians, thus simulating the motion of dynamic objects. Additionally, a camera pose refinement module is proposed to alternately optimize 3D Gaussians and camera poses, mitigating the impact of inaccurate camera poses. Extensive experiments in the monocular dynamic scenes validate that MotionGS surpasses state-of-the-art methods and exhibits significant superiority in both qualitative and quantitative results. Project page: https://ruijiezhu94.github.io/MotionGS_page