WHAC: 세계에 기반을 둔 인간과 카메라

WHAC: World-grounded Humans and Cameras

March 19, 2024

저자: Wanqi Yin, Zhongang Cai, Ruisi Wang, Fanzhou Wang, Chen Wei, Haiyi Mei, Weiye Xiao, Zhitao Yang, Qingping Sun, Atsushi Yamashita, Ziwei Liu, Lei Yang

cs.AI

초록

단안 비디오로부터 세계 좌표계에서 정확한 스케일로 인간과 카메라의 궤적을 추정하는 것은 매우 바람직하지만 어렵고 잘 정의되지 않은 문제입니다. 본 연구에서는 세계, 인간, 카메라라는 세 가지 핵심 요소 간의 시너지를 활용하여 표현력 있는 파라미터화된 인간 모델(즉, SMPL-X)과 해당 카메라 포즈를 함께 복원하는 것을 목표로 합니다. 우리의 접근 방식은 두 가지 주요 관찰에 기반을 두고 있습니다. 첫째, 카메라 프레임 SMPL-X 추정 방법은 절대적인 인간 깊이를 쉽게 복원합니다. 둘째, 인간의 움직임은 본질적으로 절대적인 공간적 단서를 제공합니다. 이러한 통찰을 통합하여, 우리는 전통적인 최적화 기법에 의존하지 않고 세계에 기반을 둔 표현적 인간 포즈 및 형태 추정(EHPS)과 카메라 포즈 추정을 용이하게 하는 새로운 프레임워크인 WHAC을 소개합니다. 또한, 정확하게 주석이 달린 인간과 카메라를 포함하며 다양한 상호작용적 인간 움직임과 현실적인 카메라 궤적을 특징으로 하는 새로운 합성 데이터셋인 WHAC-A-Mole을 제시합니다. 표준 및 새로 구축된 벤치마크에 대한 광범위한 실험은 우리 프레임워크의 우수성과 효율성을 강조합니다. 코드와 데이터셋을 공개할 예정입니다.

English

Estimating human and camera trajectories with accurate scale in the world coordinate system from a monocular video is a highly desirable yet challenging and ill-posed problem. In this study, we aim to recover expressive parametric human models (i.e., SMPL-X) and corresponding camera poses jointly, by leveraging the synergy between three critical players: the world, the human, and the camera. Our approach is founded on two key observations. Firstly, camera-frame SMPL-X estimation methods readily recover absolute human depth. Secondly, human motions inherently provide absolute spatial cues. By integrating these insights, we introduce a novel framework, referred to as WHAC, to facilitate world-grounded expressive human pose and shape estimation (EHPS) alongside camera pose estimation, without relying on traditional optimization techniques. Additionally, we present a new synthetic dataset, WHAC-A-Mole, which includes accurately annotated humans and cameras, and features diverse interactive human motions as well as realistic camera trajectories. Extensive experiments on both standard and newly established benchmarks highlight the superiority and efficacy of our framework. We will make the code and dataset publicly available.