움직임의 형태: 단일 비디오에서의 4차원 재구성

Shape of Motion: 4D Reconstruction from a Single Video

July 18, 2024

저자: Qianqian Wang, Vickie Ye, Hang Gao, Jake Austin, Zhengqi Li, Angjoo Kanazawa

cs.AI

초록

단안 동적 재구성은 문제의 고도로 불안정한 특성으로 인해 오랜 기간 도전적인 과제로 여겨져 온 컴퓨터 비전 문제입니다. 기존 접근법들은 템플릿에 의존하거나 준정적 장면에서만 효과적이거나, 3D 모션을 명시적으로 모델링하지 못하는 등의 한계를 가지고 있습니다. 본 연구에서는 일반적인 동적 장면을 재구성할 수 있는 방법을 제안하며, 이 방법은 캐주얼하게 촬영된 단안 비디오에서 명시적이고 전체 시퀀스에 걸친 3D 모션을 특징으로 합니다. 우리는 이 문제의 과소구속적 특성을 두 가지 핵심 통찰을 통해 해결합니다: 첫째, 3D 모션의 저차원 구조를 활용하여 장면 모션을 SE3 모션 기저의 간결한 집합으로 표현합니다. 각 점의 모션은 이러한 기저의 선형 결합으로 표현되며, 이를 통해 장면을 여러 강체 운동 그룹으로 소프트하게 분해할 수 있습니다. 둘째, 단안 깊이 맵과 장거리 2D 트랙을 포함한 포괄적인 데이터 기반 사전 정보를 활용하고, 이러한 노이즈가 포함된 감독 신호를 효과적으로 통합하는 방법을 고안하여 동적 장면의 전역적으로 일관된 표현을 얻습니다. 실험 결과, 우리의 방법은 동적 장면에서의 장거리 3D/2D 모션 추정과 새로운 시점 합성 모두에서 최첨단 성능을 달성함을 보여줍니다. 프로젝트 페이지: https://shape-of-motion.github.io/

English

Monocular dynamic reconstruction is a challenging and long-standing vision problem due to the highly ill-posed nature of the task. Existing approaches are limited in that they either depend on templates, are effective only in quasi-static scenes, or fail to model 3D motion explicitly. In this work, we introduce a method capable of reconstructing generic dynamic scenes, featuring explicit, full-sequence-long 3D motion, from casually captured monocular videos. We tackle the under-constrained nature of the problem with two key insights: First, we exploit the low-dimensional structure of 3D motion by representing scene motion with a compact set of SE3 motion bases. Each point's motion is expressed as a linear combination of these bases, facilitating soft decomposition of the scene into multiple rigidly-moving groups. Second, we utilize a comprehensive set of data-driven priors, including monocular depth maps and long-range 2D tracks, and devise a method to effectively consolidate these noisy supervisory signals, resulting in a globally consistent representation of the dynamic scene. Experiments show that our method achieves state-of-the-art performance for both long-range 3D/2D motion estimation and novel view synthesis on dynamic scenes. Project Page: https://shape-of-motion.github.io/