WHAC: Humanos e Câmeras Ancorados no Mundo

WHAC: World-grounded Humans and Cameras

March 19, 2024

Autores: Wanqi Yin, Zhongang Cai, Ruisi Wang, Fanzhou Wang, Chen Wei, Haiyi Mei, Weiye Xiao, Zhitao Yang, Qingping Sun, Atsushi Yamashita, Ziwei Liu, Lei Yang

cs.AI

Resumo

Estimar trajetórias humanas e de câmera com escala precisa no sistema de coordenadas mundiais a partir de um vídeo monocular é um problema altamente desejável, porém desafiador e mal posto. Neste estudo, temos como objetivo recuperar modelos humanos paramétricos expressivos (ou seja, SMPL-X) e poses de câmera correspondentes em conjunto, aproveitando a sinergia entre três elementos críticos: o mundo, o humano e a câmera. Nossa abordagem é fundamentada em duas observações-chave. Em primeiro lugar, métodos de estimativa de SMPL-X no quadro da câmera recuperam facilmente a profundidade humana absoluta. Em segundo lugar, os movimentos humanos fornecem pistas espaciais absolutas de forma inerente. Ao integrar essas percepções, introduzimos um novo framework, denominado WHAC, para facilitar a estimativa de pose e forma humanas expressivas (EHPS) ancoradas no mundo, juntamente com a estimativa de pose da câmera, sem depender de técnicas de otimização tradicionais. Além disso, apresentamos um novo conjunto de dados sintéticos, WHAC-A-Mole, que inclui humanos e câmeras devidamente anotados, e apresenta diversos movimentos humanos interativos, bem como trajetórias realistas de câmera. Experimentos extensivos em benchmarks padrão e recém-estabelecidos destacam a superioridade e eficácia de nosso framework. Disponibilizaremos publicamente o código e o conjunto de dados.

English

Estimating human and camera trajectories with accurate scale in the world coordinate system from a monocular video is a highly desirable yet challenging and ill-posed problem. In this study, we aim to recover expressive parametric human models (i.e., SMPL-X) and corresponding camera poses jointly, by leveraging the synergy between three critical players: the world, the human, and the camera. Our approach is founded on two key observations. Firstly, camera-frame SMPL-X estimation methods readily recover absolute human depth. Secondly, human motions inherently provide absolute spatial cues. By integrating these insights, we introduce a novel framework, referred to as WHAC, to facilitate world-grounded expressive human pose and shape estimation (EHPS) alongside camera pose estimation, without relying on traditional optimization techniques. Additionally, we present a new synthetic dataset, WHAC-A-Mole, which includes accurately annotated humans and cameras, and features diverse interactive human motions as well as realistic camera trajectories. Extensive experiments on both standard and newly established benchmarks highlight the superiority and efficacy of our framework. We will make the code and dataset publicly available.