Menschen in 4D: Rekonstruktion und Verfolgung von Menschen mit Transformern

Humans in 4D: Reconstructing and Tracking Humans with Transformers

May 31, 2023

Autoren: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, Jitendra Malik

cs.AI

Zusammenfassung

Wir präsentieren einen Ansatz zur Rekonstruktion von Personen und ihrer Verfolgung über die Zeit. Im Kern unseres Ansatzes schlagen wir eine vollständig "transformatorisierte" Version eines Netzwerks für die Wiederherstellung von menschlichen Meshes vor. Dieses Netzwerk, HMR 2.0, setzt neue Maßstäbe und zeigt die Fähigkeit, ungewöhnliche Posen zu analysieren, die in der Vergangenheit schwer aus einzelnen Bildern zu rekonstruieren waren. Zur Analyse von Videos verwenden wir 3D-Rekonstruktionen von HMR 2.0 als Eingabe für ein Tracking-System, das in 3D arbeitet. Dies ermöglicht es uns, mit mehreren Personen umzugehen und Identitäten durch Okklusionsereignisse hindurch beizubehalten. Unser vollständiger Ansatz, 4DHumans, erzielt state-of-the-art Ergebnisse bei der Verfolgung von Personen aus monokularen Videos. Darüber hinaus demonstrieren wir die Effektivität von HMR 2.0 bei der nachgelagerten Aufgabe der Aktionserkennung und erzielen signifikante Verbesserungen gegenüber früheren pose-basierten Ansätzen zur Aktionserkennung. Unser Code und unsere Modelle sind auf der Projektwebsite verfügbar: https://shubham-goel.github.io/4dhumans/.

English

We present an approach to reconstruct humans and track them over time. At the core of our approach, we propose a fully "transformerized" version of a network for human mesh recovery. This network, HMR 2.0, advances the state of the art and shows the capability to analyze unusual poses that have in the past been difficult to reconstruct from single images. To analyze video, we use 3D reconstructions from HMR 2.0 as input to a tracking system that operates in 3D. This enables us to deal with multiple people and maintain identities through occlusion events. Our complete approach, 4DHumans, achieves state-of-the-art results for tracking people from monocular video. Furthermore, we demonstrate the effectiveness of HMR 2.0 on the downstream task of action recognition, achieving significant improvements over previous pose-based action recognition approaches. Our code and models are available on the project website: https://shubham-goel.github.io/4dhumans/.