モーションの形状：単一動画からの4次元再構成

Shape of Motion: 4D Reconstruction from a Single Video

July 18, 2024

著者: Qianqian Wang, Vickie Ye, Hang Gao, Jake Austin, Zhengqi Li, Angjoo Kanazawa

cs.AI

要旨

単眼動的再構成は、そのタスクの非常に不良設定な性質から、困難で長年の課題となっている視覚問題です。既存のアプローチは、テンプレートに依存する、準静的なシーンでのみ有効である、または3Dモーションを明示的にモデル化できないといった限界があります。本研究では、カジュアルに撮影された単眼動画から、明示的でシーケンス全体にわたる3Dモーションを特徴とする一般的な動的シーンを再構成する手法を提案します。この問題の制約不足に対処するために、2つの重要な洞察を活用します。第一に、3Dモーションの低次元構造を利用し、シーンモーションをコンパクトなSE3モーションベースの集合で表現します。各点のモーションはこれらのベースの線形結合として表され、シーンを複数の剛体運動グループに柔軟に分解することを可能にします。第二に、単眼深度マップや長距離2Dトラックを含む包括的なデータ駆動型事前情報を活用し、これらのノイズの多い教師信号を効果的に統合する方法を考案し、動的シーンのグローバルに一貫した表現を実現します。実験結果は、本手法が長距離3D/2Dモーション推定と動的シーンにおける新規視点合成の両方で最先端の性能を達成することを示しています。プロジェクトページ: https://shape-of-motion.github.io/

English

Monocular dynamic reconstruction is a challenging and long-standing vision problem due to the highly ill-posed nature of the task. Existing approaches are limited in that they either depend on templates, are effective only in quasi-static scenes, or fail to model 3D motion explicitly. In this work, we introduce a method capable of reconstructing generic dynamic scenes, featuring explicit, full-sequence-long 3D motion, from casually captured monocular videos. We tackle the under-constrained nature of the problem with two key insights: First, we exploit the low-dimensional structure of 3D motion by representing scene motion with a compact set of SE3 motion bases. Each point's motion is expressed as a linear combination of these bases, facilitating soft decomposition of the scene into multiple rigidly-moving groups. Second, we utilize a comprehensive set of data-driven priors, including monocular depth maps and long-range 2D tracks, and devise a method to effectively consolidate these noisy supervisory signals, resulting in a globally consistent representation of the dynamic scene. Experiments show that our method achieves state-of-the-art performance for both long-range 3D/2D motion estimation and novel view synthesis on dynamic scenes. Project Page: https://shape-of-motion.github.io/