MotionGS: Explorando la Guía de Movimiento Explícito para la Dispersión Gaussiana 3D Deformable

MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting

October 10, 2024

Autores: Ruijie Zhu, Yanzhe Liang, Hanzhi Chang, Jiacheng Deng, Jiahao Lu, Wenfei Yang, Tianzhu Zhang, Yongdong Zhang

cs.AI

Resumen

La reconstrucción dinámica de escenas es un desafío a largo plazo en el campo de la visión 3D. Recientemente, la aparición del Splatting Gaussiano 3D ha proporcionado nuevas perspectivas sobre este problema. Aunque los esfuerzos posteriores extienden rápidamente el Gaussiano 3D estático a escenas dinámicas, a menudo carecen de restricciones explícitas sobre el movimiento de objetos, lo que conduce a dificultades de optimización y degradación del rendimiento. Para abordar los problemas mencionados, proponemos un novedoso marco de splatting Gaussiano 3D deformable llamado MotionGS, que explora prioridades de movimiento explícitas para guiar la deformación de los Gaussianos 3D. Específicamente, primero introducimos un módulo de desacoplamiento de flujo óptico que separa el flujo óptico en flujo de cámara y flujo de movimiento, correspondientes al movimiento de la cámara y al movimiento del objeto respectivamente. Luego, el flujo de movimiento puede restringir efectivamente la deformación de los Gaussianos 3D, simulando así el movimiento de objetos dinámicos. Además, se propone un módulo de refinamiento de la pose de la cámara para optimizar alternativamente los Gaussianos 3D y las poses de la cámara, mitigando el impacto de las poses de cámara inexactas. Experimentos extensos en escenas dinámicas monoculares validan que MotionGS supera a los métodos de vanguardia y muestra una superioridad significativa tanto en resultados cualitativos como cuantitativos. Página del proyecto: https://ruijiezhu94.github.io/MotionGS_page

English

Dynamic scene reconstruction is a long-term challenge in the field of 3D vision. Recently, the emergence of 3D Gaussian Splatting has provided new insights into this problem. Although subsequent efforts rapidly extend static 3D Gaussian to dynamic scenes, they often lack explicit constraints on object motion, leading to optimization difficulties and performance degradation. To address the above issues, we propose a novel deformable 3D Gaussian splatting framework called MotionGS, which explores explicit motion priors to guide the deformation of 3D Gaussians. Specifically, we first introduce an optical flow decoupling module that decouples optical flow into camera flow and motion flow, corresponding to camera movement and object motion respectively. Then the motion flow can effectively constrain the deformation of 3D Gaussians, thus simulating the motion of dynamic objects. Additionally, a camera pose refinement module is proposed to alternately optimize 3D Gaussians and camera poses, mitigating the impact of inaccurate camera poses. Extensive experiments in the monocular dynamic scenes validate that MotionGS surpasses state-of-the-art methods and exhibits significant superiority in both qualitative and quantitative results. Project page: https://ruijiezhu94.github.io/MotionGS_page