HumanMM: マルチショット動画からのグローバルな人体動作復元

HumanMM: Global Human Motion Recovery from Multi-shot Videos

March 10, 2025

著者: Yuhong Zhang, Guanlin Wu, Ling-Hao Chen, Zhuokai Zhao, Jing Lin, Xiaoke Jiang, Jiamin Wu, Zhuoheng Li, Hao Frank Yang, Haoqian Wang, Lei Zhang

cs.AI

要旨

本論文では、ワイルド環境で撮影された複数のショット遷移を含むビデオから、ワールド座標系における長尺3D人間モーションを再構築するための新しいフレームワークを提案する。このような長尺のワイルド環境モーションは、モーション生成やモーション理解などのアプリケーションにとって非常に価値があるが、ビデオ内での急激なショット遷移、部分的なオクルージョン、動的な背景といった要因により、その復元は大きな課題となっている。既存の手法は主に、単一のカメラビュー内で連続性が保たれるシングルショットビデオに焦点を当てるか、カメラ空間内でのマルチショットアラインメントを簡略化している。本研究では、ショット遷移検出器と堅牢なアラインメントモジュールを組み込むことで、ショット間での正確なポーズと方向の連続性を確保し、強化されたカメラポーズ推定と人間モーション復元（HMR）を統合することでこれらの課題に取り組む。カスタムモーションインテグレータを活用することで、足のスライディング問題を効果的に軽減し、人間のポーズの時間的整合性を保証する。公開されている3D人間データセットから作成したマルチショットデータセットでの広範な評価により、本手法がワールド座標系における現実的な人間モーションを再構築する上での堅牢性を実証している。

English

In this paper, we present a novel framework designed to reconstruct long-sequence 3D human motion in the world coordinates from in-the-wild videos with multiple shot transitions. Such long-sequence in-the-wild motions are highly valuable to applications such as motion generation and motion understanding, but are of great challenge to be recovered due to abrupt shot transitions, partial occlusions, and dynamic backgrounds presented in such videos. Existing methods primarily focus on single-shot videos, where continuity is maintained within a single camera view, or simplify multi-shot alignment in camera space only. In this work, we tackle the challenges by integrating an enhanced camera pose estimation with Human Motion Recovery (HMR) by incorporating a shot transition detector and a robust alignment module for accurate pose and orientation continuity across shots. By leveraging a custom motion integrator, we effectively mitigate the problem of foot sliding and ensure temporal consistency in human pose. Extensive evaluations on our created multi-shot dataset from public 3D human datasets demonstrate the robustness of our method in reconstructing realistic human motion in world coordinates.