MotionGS: Het verkennen van expliciete bewegingsbegeleiding voor vervormbare 3D-Gaussisch splatten.

MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting

October 10, 2024

Auteurs: Ruijie Zhu, Yanzhe Liang, Hanzhi Chang, Jiacheng Deng, Jiahao Lu, Wenfei Yang, Tianzhu Zhang, Yongdong Zhang

cs.AI

Samenvatting

Dynamische scène reconstructie is een langdurige uitdaging in het veld van 3D visie. Onlangs heeft de opkomst van 3D Gaussisch Splatting nieuwe inzichten geboden in dit probleem. Hoewel daaropvolgende inspanningen statische 3D Gaussisch snel hebben uitgebreid naar dynamische scènes, ontbreekt het vaak aan expliciete beperkingen op objectbeweging, wat leidt tot optimalisatieproblemen en prestatievermindering. Om de bovenstaande kwesties aan te pakken, stellen we een nieuw vervormbaar 3D Gaussisch splatting raamwerk voor genaamd MotionGS, dat expliciete bewegingsprioriteiten verkent om de vervorming van 3D Gaussians te begeleiden. Specifiek introduceren we eerst een optische stroom ontkoppelingsmodule die optische stroom opsplitst in camerastroom en bewegingsstroom, die respectievelijk overeenkomen met camerabeweging en objectbeweging. Vervolgens kan de bewegingsstroom effectief de vervorming van 3D Gaussians beperken, waardoor de beweging van dynamische objecten wordt gesimuleerd. Daarnaast wordt een camerapositie verfijningsmodule voorgesteld om afwisselend 3D Gaussians en cameraposities te optimaliseren, waardoor de impact van onnauwkeurige cameraposities wordt verminderd. Uitgebreide experimenten in monoculaire dynamische scènes bevestigen dat MotionGS de state-of-the-art methoden overtreft en aanzienlijke superioriteit vertoont in zowel kwalitatieve als kwantitatieve resultaten. Projectpagina: https://ruijiezhu94.github.io/MotionGS_page

English

Dynamic scene reconstruction is a long-term challenge in the field of 3D vision. Recently, the emergence of 3D Gaussian Splatting has provided new insights into this problem. Although subsequent efforts rapidly extend static 3D Gaussian to dynamic scenes, they often lack explicit constraints on object motion, leading to optimization difficulties and performance degradation. To address the above issues, we propose a novel deformable 3D Gaussian splatting framework called MotionGS, which explores explicit motion priors to guide the deformation of 3D Gaussians. Specifically, we first introduce an optical flow decoupling module that decouples optical flow into camera flow and motion flow, corresponding to camera movement and object motion respectively. Then the motion flow can effectively constrain the deformation of 3D Gaussians, thus simulating the motion of dynamic objects. Additionally, a camera pose refinement module is proposed to alternately optimize 3D Gaussians and camera poses, mitigating the impact of inaccurate camera poses. Extensive experiments in the monocular dynamic scenes validate that MotionGS surpasses state-of-the-art methods and exhibits significant superiority in both qualitative and quantitative results. Project page: https://ruijiezhu94.github.io/MotionGS_page