MotionGS: 변형 가능한 3D 가우시안 스플래팅을 위한 명시적인 모션 가이드 탐구

MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting

October 10, 2024

저자: Ruijie Zhu, Yanzhe Liang, Hanzhi Chang, Jiacheng Deng, Jiahao Lu, Wenfei Yang, Tianzhu Zhang, Yongdong Zhang

cs.AI

초록

동적 장면 재구성은 3D 비전 분야에서 장기적인 과제입니다. 최근에는 3D 가우시안 스플래팅의 등장으로 이 문제에 대한 새로운 통찰이 제공되었습니다. 비록 이후의 노력들이 정적 3D 가우시안을 동적 장면으로 신속하게 확장하지만, 종종 물체 움직임에 대한 명시적인 제약이 부족하여 최적화 어려움과 성능 저하로 이어집니다. 위 문제를 해결하기 위해 우리는 MotionGS라는 새로운 변형 가능한 3D 가우시안 스플래팅 프레임워크를 제안합니다. 이 프레임워크는 3D 가우시안의 변형을 안내하기 위해 명시적인 움직임 사전을 탐색합니다. 구체적으로, 우리는 먼저 광학 흐름을 카메라 흐름과 물체 움직임에 해당하는 움직임 흐름으로 분리하는 광학 흐름 분리 모듈을 소개합니다. 그런 다음 움직임 흐름은 3D 가우시안의 변형을 효과적으로 제약하여 동적 물체의 움직임을 모사합니다. 게다가, 카메라 포즈 정제 모듈을 제안하여 3D 가우시안과 카메라 포즈를 번갈아 최적화하여 부정확한 카메라 포즈의 영향을 완화합니다. 단안 동적 장면에서의 광범위한 실험 결과는 MotionGS가 최첨단 방법을 능가하며 질적 및 양적 결과 모두에서 상당한 우월성을 나타낸다는 것을 입증합니다. 프로젝트 페이지: https://ruijiezhu94.github.io/MotionGS_page

English

Dynamic scene reconstruction is a long-term challenge in the field of 3D vision. Recently, the emergence of 3D Gaussian Splatting has provided new insights into this problem. Although subsequent efforts rapidly extend static 3D Gaussian to dynamic scenes, they often lack explicit constraints on object motion, leading to optimization difficulties and performance degradation. To address the above issues, we propose a novel deformable 3D Gaussian splatting framework called MotionGS, which explores explicit motion priors to guide the deformation of 3D Gaussians. Specifically, we first introduce an optical flow decoupling module that decouples optical flow into camera flow and motion flow, corresponding to camera movement and object motion respectively. Then the motion flow can effectively constrain the deformation of 3D Gaussians, thus simulating the motion of dynamic objects. Additionally, a camera pose refinement module is proposed to alternately optimize 3D Gaussians and camera poses, mitigating the impact of inaccurate camera poses. Extensive experiments in the monocular dynamic scenes validate that MotionGS surpasses state-of-the-art methods and exhibits significant superiority in both qualitative and quantitative results. Project page: https://ruijiezhu94.github.io/MotionGS_page