Mensen in 4D: Reconstructie en Tracking van Mensen met Transformers

Humans in 4D: Reconstructing and Tracking Humans with Transformers

May 31, 2023

Auteurs: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, Jitendra Malik

cs.AI

Samenvatting

We presenteren een benadering om mensen te reconstrueren en ze in de tijd te volgen. Centraal in onze aanpak staat een volledig "getransformeerde" versie van een netwerk voor het herstel van menselijke mesh. Dit netwerk, HMR 2.0, verbetert de stand van de techniek en toont de mogelijkheid om ongebruikelijke houdingen te analyseren die in het verleden moeilijk te reconstrueren waren vanuit enkele afbeeldingen. Voor het analyseren van video gebruiken we 3D-reconstructies van HMR 2.0 als invoer voor een volgsysteem dat in 3D opereert. Hierdoor kunnen we omgaan met meerdere personen en identiteiten behouden tijdens occlusiegebeurtenissen. Onze complete aanpak, 4DHumans, behaalt state-of-the-art resultaten voor het volgen van mensen vanuit monoscopische video. Bovendien demonstreren we de effectiviteit van HMR 2.0 op de downstreamtaak van actieherkenning, waarbij we aanzienlijke verbeteringen behalen ten opzichte van eerdere op houding gebaseerde benaderingen voor actieherkenning. Onze code en modellen zijn beschikbaar op de projectwebsite: https://shubham-goel.github.io/4dhumans/.

English

We present an approach to reconstruct humans and track them over time. At the core of our approach, we propose a fully "transformerized" version of a network for human mesh recovery. This network, HMR 2.0, advances the state of the art and shows the capability to analyze unusual poses that have in the past been difficult to reconstruct from single images. To analyze video, we use 3D reconstructions from HMR 2.0 as input to a tracking system that operates in 3D. This enables us to deal with multiple people and maintain identities through occlusion events. Our complete approach, 4DHumans, achieves state-of-the-art results for tracking people from monocular video. Furthermore, we demonstrate the effectiveness of HMR 2.0 on the downstream task of action recognition, achieving significant improvements over previous pose-based action recognition approaches. Our code and models are available on the project website: https://shubham-goel.github.io/4dhumans/.