WHAC: Weltverankerte Menschen und Kameras

WHAC: World-grounded Humans and Cameras

March 19, 2024

Autoren: Wanqi Yin, Zhongang Cai, Ruisi Wang, Fanzhou Wang, Chen Wei, Haiyi Mei, Weiye Xiao, Zhitao Yang, Qingping Sun, Atsushi Yamashita, Ziwei Liu, Lei Yang

cs.AI

Zusammenfassung

Die Schätzung von menschlichen und Kameratrajektorien mit präzisem Maßstab im Weltkoordinatensystem aus einem monokularen Video ist ein äußerst wünschenswertes, aber herausforderndes und schlecht gestelltes Problem. In dieser Studie zielen wir darauf ab, ausdrucksstarke parametrische Menschmodelle (d. h. SMPL-X) und entsprechende Kameraposen gemeinsam wiederherzustellen, indem wir die Synergie zwischen drei entscheidenden Akteuren nutzen: der Welt, dem Menschen und der Kamera. Unser Ansatz basiert auf zwei zentralen Beobachtungen. Erstens können SMPL-X-Schätzmethoden im Kamerakoordinatensystem problemlos die absolute Tiefe des Menschen erfassen. Zweitens liefern menschliche Bewegungen von Natur aus absolute räumliche Hinweise. Durch die Integration dieser Erkenntnisse führen wir ein neuartiges Framework ein, das als WHAC bezeichnet wird, um die weltbezogene Schätzung von ausdrucksstarker menschlicher Pose und Form (EHPS) sowie die Kameraposenschätzung zu ermöglichen, ohne auf traditionelle Optimierungstechniken zurückzugreifen. Zusätzlich stellen wir einen neuen synthetischen Datensatz, WHAC-A-Mole, vor, der präzise annotierte Menschen und Kameras enthält und vielfältige interaktive menschliche Bewegungen sowie realistische Kameratrajektorien aufweist. Umfangreiche Experimente sowohl auf etablierten als auch auf neu geschaffenen Benchmarks unterstreichen die Überlegenheit und Effizienz unseres Frameworks. Wir werden den Code und den Datensatz öffentlich zugänglich machen.

English

Estimating human and camera trajectories with accurate scale in the world coordinate system from a monocular video is a highly desirable yet challenging and ill-posed problem. In this study, we aim to recover expressive parametric human models (i.e., SMPL-X) and corresponding camera poses jointly, by leveraging the synergy between three critical players: the world, the human, and the camera. Our approach is founded on two key observations. Firstly, camera-frame SMPL-X estimation methods readily recover absolute human depth. Secondly, human motions inherently provide absolute spatial cues. By integrating these insights, we introduce a novel framework, referred to as WHAC, to facilitate world-grounded expressive human pose and shape estimation (EHPS) alongside camera pose estimation, without relying on traditional optimization techniques. Additionally, we present a new synthetic dataset, WHAC-A-Mole, which includes accurately annotated humans and cameras, and features diverse interactive human motions as well as realistic camera trajectories. Extensive experiments on both standard and newly established benchmarks highlight the superiority and efficacy of our framework. We will make the code and dataset publicly available.