WHAC: Humanos y Cámaras Fundamentados en el Mundo

WHAC: World-grounded Humans and Cameras

March 19, 2024

Autores: Wanqi Yin, Zhongang Cai, Ruisi Wang, Fanzhou Wang, Chen Wei, Haiyi Mei, Weiye Xiao, Zhitao Yang, Qingping Sun, Atsushi Yamashita, Ziwei Liu, Lei Yang

cs.AI

Resumen

Estimar las trayectorias humanas y de la cámara con una escala precisa en el sistema de coordenadas mundial a partir de un video monocular es un problema altamente deseable, pero desafiante y mal planteado. En este estudio, nuestro objetivo es recuperar modelos humanos paramétricos expresivos (es decir, SMPL-X) y las poses correspondientes de la cámara de manera conjunta, aprovechando la sinergia entre tres actores críticos: el mundo, el humano y la cámara. Nuestro enfoque se basa en dos observaciones clave. En primer lugar, los métodos de estimación de SMPL-X en el marco de la cámara recuperan fácilmente la profundidad absoluta del humano. En segundo lugar, los movimientos humanos proporcionan inherentemente pistas espaciales absolutas. Al integrar estas ideas, presentamos un marco novedoso, denominado WHAC, para facilitar la estimación de la pose y la forma humana expresiva (EHPS) anclada en el mundo junto con la estimación de la pose de la cámara, sin depender de técnicas de optimización tradicionales. Además, presentamos un nuevo conjunto de datos sintético, WHAC-A-Mole, que incluye humanos y cámaras anotados con precisión, y presenta diversos movimientos humanos interactivos, así como trayectorias realistas de la cámara. Experimentos exhaustivos en puntos de referencia estándar y recién establecidos destacan la superioridad y eficacia de nuestro marco. Haremos público el código y el conjunto de datos.

English

Estimating human and camera trajectories with accurate scale in the world coordinate system from a monocular video is a highly desirable yet challenging and ill-posed problem. In this study, we aim to recover expressive parametric human models (i.e., SMPL-X) and corresponding camera poses jointly, by leveraging the synergy between three critical players: the world, the human, and the camera. Our approach is founded on two key observations. Firstly, camera-frame SMPL-X estimation methods readily recover absolute human depth. Secondly, human motions inherently provide absolute spatial cues. By integrating these insights, we introduce a novel framework, referred to as WHAC, to facilitate world-grounded expressive human pose and shape estimation (EHPS) alongside camera pose estimation, without relying on traditional optimization techniques. Additionally, we present a new synthetic dataset, WHAC-A-Mole, which includes accurately annotated humans and cameras, and features diverse interactive human motions as well as realistic camera trajectories. Extensive experiments on both standard and newly established benchmarks highlight the superiority and efficacy of our framework. We will make the code and dataset publicly available.