MotionGS: Esplorazione della Guida al Movimento Esplicito per la Splatting Gaussiana 3D Deformabile

MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting

October 10, 2024

Autori: Ruijie Zhu, Yanzhe Liang, Hanzhi Chang, Jiacheng Deng, Jiahao Lu, Wenfei Yang, Tianzhu Zhang, Yongdong Zhang

cs.AI

Abstract

La ricostruzione dinamica della scena è una sfida a lungo termine nel campo della visione 3D. Di recente, l'emergere dello Splatting Gaussiano 3D ha fornito nuove prospettive su questo problema. Anche se successivi sforzi estendono rapidamente il Gaussiano 3D statico a scene dinamiche, spesso mancano di vincoli espliciti sul movimento degli oggetti, portando a difficoltà di ottimizzazione e degrado delle prestazioni. Per affrontare le questioni sopra menzionate, proponiamo un nuovo framework deformabile di Splatting Gaussiano 3D chiamato MotionGS, che esplora priorità di movimento esplicite per guidare la deformazione dei Gaussiani 3D. In particolare, introduciamo prima un modulo di decoupling del flusso ottico che separa il flusso ottico in flusso della telecamera e flusso di movimento, corrispondenti rispettivamente al movimento della telecamera e al movimento dell'oggetto. Successivamente, il flusso di movimento può efficacemente vincolare la deformazione dei Gaussiani 3D, simulando così il movimento degli oggetti dinamici. Inoltre, viene proposto un modulo di perfezionamento della posa della telecamera per ottimizzare alternativamente i Gaussiani 3D e le posizioni della telecamera, mitigando l'impatto delle posizioni inaccurate della telecamera. Estesi esperimenti nelle scene dinamiche monoculari convalidano che MotionGS supera i metodi all'avanguardia e mostra una significativa superiorità sia nei risultati qualitativi che quantitativi. Pagina del progetto: https://ruijiezhu94.github.io/MotionGS_page

English

Dynamic scene reconstruction is a long-term challenge in the field of 3D vision. Recently, the emergence of 3D Gaussian Splatting has provided new insights into this problem. Although subsequent efforts rapidly extend static 3D Gaussian to dynamic scenes, they often lack explicit constraints on object motion, leading to optimization difficulties and performance degradation. To address the above issues, we propose a novel deformable 3D Gaussian splatting framework called MotionGS, which explores explicit motion priors to guide the deformation of 3D Gaussians. Specifically, we first introduce an optical flow decoupling module that decouples optical flow into camera flow and motion flow, corresponding to camera movement and object motion respectively. Then the motion flow can effectively constrain the deformation of 3D Gaussians, thus simulating the motion of dynamic objects. Additionally, a camera pose refinement module is proposed to alternately optimize 3D Gaussians and camera poses, mitigating the impact of inaccurate camera poses. Extensive experiments in the monocular dynamic scenes validate that MotionGS surpasses state-of-the-art methods and exhibits significant superiority in both qualitative and quantitative results. Project page: https://ruijiezhu94.github.io/MotionGS_page