WHAC: Umani e Telecamere Radicati nel Mondo

WHAC: World-grounded Humans and Cameras

March 19, 2024

Autori: Wanqi Yin, Zhongang Cai, Ruisi Wang, Fanzhou Wang, Chen Wei, Haiyi Mei, Weiye Xiao, Zhitao Yang, Qingping Sun, Atsushi Yamashita, Ziwei Liu, Lei Yang

cs.AI

Abstract

Stimare le traiettorie umane e della fotocamera con scala accurata nel sistema di coordinate mondiali a partire da un video monoculare è un problema altamente desiderabile ma complesso e mal posto. In questo studio, miriamo a recuperare modelli parametrici umani espressivi (ad esempio, SMPL-X) e le corrispondenti pose della fotocamera in modo congiunto, sfruttando la sinergia tra tre attori critici: il mondo, l'essere umano e la fotocamera. Il nostro approccio si basa su due osservazioni chiave. In primo luogo, i metodi di stima SMPL-X nel frame della fotocamera recuperano facilmente la profondità assoluta dell'essere umano. In secondo luogo, i movimenti umani forniscono intrinsecamente indizi spaziali assoluti. Integrando queste intuizioni, introduciamo un nuovo framework, denominato WHAC, per facilitare la stima della posa e della forma umana espressiva (EHPS) ancorata al mondo insieme alla stima della posa della fotocamera, senza fare affidamento su tecniche di ottimizzazione tradizionali. Inoltre, presentiamo un nuovo dataset sintetico, WHAC-A-Mole, che include annotazioni precise di esseri umani e fotocamere, e presenta una varietà di movimenti umani interattivi nonché traiettorie realistiche della fotocamera. Esperimenti estesi su benchmark standard e di nuova istituzione evidenziano la superiorità e l'efficacia del nostro framework. Renderemo disponibili pubblicamente il codice e il dataset.

English

Estimating human and camera trajectories with accurate scale in the world coordinate system from a monocular video is a highly desirable yet challenging and ill-posed problem. In this study, we aim to recover expressive parametric human models (i.e., SMPL-X) and corresponding camera poses jointly, by leveraging the synergy between three critical players: the world, the human, and the camera. Our approach is founded on two key observations. Firstly, camera-frame SMPL-X estimation methods readily recover absolute human depth. Secondly, human motions inherently provide absolute spatial cues. By integrating these insights, we introduce a novel framework, referred to as WHAC, to facilitate world-grounded expressive human pose and shape estimation (EHPS) alongside camera pose estimation, without relying on traditional optimization techniques. Additionally, we present a new synthetic dataset, WHAC-A-Mole, which includes accurately annotated humans and cameras, and features diverse interactive human motions as well as realistic camera trajectories. Extensive experiments on both standard and newly established benchmarks highlight the superiority and efficacy of our framework. We will make the code and dataset publicly available.