MotionGS: Explorando Orientação de Movimento Explícito para Espalhamento Gaussiano 3D Deformável

MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting

October 10, 2024

Autores: Ruijie Zhu, Yanzhe Liang, Hanzhi Chang, Jiacheng Deng, Jiahao Lu, Wenfei Yang, Tianzhu Zhang, Yongdong Zhang

cs.AI

Resumo

A reconstrução dinâmica de cenas é um desafio de longo prazo no campo da visão 3D. Recentemente, a emergência do Splatting Gaussiano 3D proporcionou novas perspectivas sobre esse problema. Embora esforços subsequentes rapidamente estendam o Gaussiano 3D estático para cenas dinâmicas, frequentemente carecem de restrições explícitas sobre o movimento do objeto, o que leva a dificuldades de otimização e degradação de desempenho. Para abordar as questões mencionadas, propomos um novo framework deformável de Splatting Gaussiano 3D chamado MotionGS, que explora priores de movimento explícitos para guiar a deformação dos Gaussianos 3D. Especificamente, introduzimos primeiro um módulo de desacoplamento de fluxo óptico que separa o fluxo óptico em fluxo da câmera e fluxo de movimento, correspondendo respectivamente ao movimento da câmera e ao movimento do objeto. Em seguida, o fluxo de movimento pode efetivamente restringir a deformação dos Gaussianos 3D, simulando assim o movimento de objetos dinâmicos. Além disso, propomos um módulo de refinamento de pose da câmera para otimizar alternadamente os Gaussianos 3D e as poses da câmera, mitigando o impacto de poses de câmera imprecisas. Experimentos extensivos em cenas dinâmicas monoculares validam que o MotionGS supera os métodos de ponta e exibe uma superioridade significativa tanto em resultados qualitativos quanto quantitativos. Página do projeto: https://ruijiezhu94.github.io/MotionGS_page

English

Dynamic scene reconstruction is a long-term challenge in the field of 3D vision. Recently, the emergence of 3D Gaussian Splatting has provided new insights into this problem. Although subsequent efforts rapidly extend static 3D Gaussian to dynamic scenes, they often lack explicit constraints on object motion, leading to optimization difficulties and performance degradation. To address the above issues, we propose a novel deformable 3D Gaussian splatting framework called MotionGS, which explores explicit motion priors to guide the deformation of 3D Gaussians. Specifically, we first introduce an optical flow decoupling module that decouples optical flow into camera flow and motion flow, corresponding to camera movement and object motion respectively. Then the motion flow can effectively constrain the deformation of 3D Gaussians, thus simulating the motion of dynamic objects. Additionally, a camera pose refinement module is proposed to alternately optimize 3D Gaussians and camera poses, mitigating the impact of inaccurate camera poses. Extensive experiments in the monocular dynamic scenes validate that MotionGS surpasses state-of-the-art methods and exhibits significant superiority in both qualitative and quantitative results. Project page: https://ruijiezhu94.github.io/MotionGS_page