MotionGS: Исследование явного управления движением для деформируемого трехмерного гауссовского сплетения.

MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting

October 10, 2024

Авторы: Ruijie Zhu, Yanzhe Liang, Hanzhi Chang, Jiacheng Deng, Jiahao Lu, Wenfei Yang, Tianzhu Zhang, Yongdong Zhang

cs.AI

Аннотация

Динамическая реконструкция сцен является долгосрочным вызовом в области трехмерного зрения. Недавно появление трехмерного гауссовского сплэтинга привнесло новые идеи в решение этой проблемы. Хотя последующие усилия быстро расширяют статический трехмерный гауссовский сплэтинг на динамические сцены, они часто лишены явных ограничений на движение объектов, что приводит к сложностям оптимизации и снижению производительности. Для решения вышеуказанных проблем мы предлагаем новую деформируемую трехмерную гауссовскую сплэтинговую структуру под названием MotionGS, которая исследует явные движущиеся априорные данные для направления деформации трехмерных гауссов. Конкретно, мы сначала вводим модуль декомпозиции оптического потока, который разделяет оптический поток на поток камеры и поток движения, соответствующий движению камеры и объекта соответственно. Затем поток движения может эффективно ограничивать деформацию трехмерных гауссов, тем самым имитируя движение динамических объектов. Кроме того, предложен модуль уточнения положения камеры для чередующейся оптимизации трехмерных гауссов и положений камеры, смягчая влияние неточных положений камеры. Обширные эксперименты в монокулярных динамических сценах подтверждают, что MotionGS превосходит методы последнего поколения и проявляет значительное превосходство как в качественных, так и в количественных результатах. Страница проекта: https://ruijiezhu94.github.io/MotionGS_page

English

Dynamic scene reconstruction is a long-term challenge in the field of 3D vision. Recently, the emergence of 3D Gaussian Splatting has provided new insights into this problem. Although subsequent efforts rapidly extend static 3D Gaussian to dynamic scenes, they often lack explicit constraints on object motion, leading to optimization difficulties and performance degradation. To address the above issues, we propose a novel deformable 3D Gaussian splatting framework called MotionGS, which explores explicit motion priors to guide the deformation of 3D Gaussians. Specifically, we first introduce an optical flow decoupling module that decouples optical flow into camera flow and motion flow, corresponding to camera movement and object motion respectively. Then the motion flow can effectively constrain the deformation of 3D Gaussians, thus simulating the motion of dynamic objects. Additionally, a camera pose refinement module is proposed to alternately optimize 3D Gaussians and camera poses, mitigating the impact of inaccurate camera poses. Extensive experiments in the monocular dynamic scenes validate that MotionGS surpasses state-of-the-art methods and exhibits significant superiority in both qualitative and quantitative results. Project page: https://ruijiezhu94.github.io/MotionGS_page