MotionGS: Erforschung der expliziten Bewegungssteuerung für verformbares 3D-Gaußsches Splatting.

MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting

October 10, 2024

Autoren: Ruijie Zhu, Yanzhe Liang, Hanzhi Chang, Jiacheng Deng, Jiahao Lu, Wenfei Yang, Tianzhu Zhang, Yongdong Zhang

cs.AI

Zusammenfassung

Die dynamische Szenenrekonstruktion ist eine langfristige Herausforderung im Bereich der 3D-Vision. In letzter Zeit hat das Aufkommen von 3D-Gauß-Splatting neue Einblicke in dieses Problem ermöglicht. Obwohl nachfolgende Bemühungen statisches 3D-Gauß schnell auf dynamische Szenen ausdehnen, fehlen ihnen oft explizite Einschränkungen bezüglich der Objektbewegung, was zu Optimierungsschwierigkeiten und Leistungsabfall führt. Um die oben genannten Probleme anzugehen, schlagen wir ein neuartiges deformierbares 3D-Gauß-Splatting-Framework namens MotionGS vor, das explizite Bewegungsprioritäten erforscht, um die Deformation von 3D-Gaußen zu lenken. Speziell führen wir zunächst ein optisches Flussentkopplungsmodul ein, das den optischen Fluss in Kamerafluss und Bewegungsfluss aufteilt, die der Kamerabewegung bzw. der Objektbewegung entsprechen. Dann kann der Bewegungsfluss die Deformation von 3D-Gaußen effektiv einschränken und somit die Bewegung dynamischer Objekte simulieren. Darüber hinaus wird ein Kamerapositionsverfeinerungsmodul vorgeschlagen, um abwechselnd 3D-Gaußen und Kamerapositionen zu optimieren und so den Einfluss ungenauer Kamerapositionen zu mildern. Umfangreiche Experimente in monokularen dynamischen Szenen bestätigen, dass MotionGS die Methoden auf dem neuesten Stand der Technik übertrifft und sowohl qualitative als auch quantitative Ergebnisse von erheblicher Überlegenheit aufweist. Projektseite: https://ruijiezhu94.github.io/MotionGS_page

English

Dynamic scene reconstruction is a long-term challenge in the field of 3D vision. Recently, the emergence of 3D Gaussian Splatting has provided new insights into this problem. Although subsequent efforts rapidly extend static 3D Gaussian to dynamic scenes, they often lack explicit constraints on object motion, leading to optimization difficulties and performance degradation. To address the above issues, we propose a novel deformable 3D Gaussian splatting framework called MotionGS, which explores explicit motion priors to guide the deformation of 3D Gaussians. Specifically, we first introduce an optical flow decoupling module that decouples optical flow into camera flow and motion flow, corresponding to camera movement and object motion respectively. Then the motion flow can effectively constrain the deformation of 3D Gaussians, thus simulating the motion of dynamic objects. Additionally, a camera pose refinement module is proposed to alternately optimize 3D Gaussians and camera poses, mitigating the impact of inaccurate camera poses. Extensive experiments in the monocular dynamic scenes validate that MotionGS surpasses state-of-the-art methods and exhibits significant superiority in both qualitative and quantitative results. Project page: https://ruijiezhu94.github.io/MotionGS_page