Humains en 4D : Reconstruction et suivi des humains avec des Transformers

Humans in 4D: Reconstructing and Tracking Humans with Transformers

May 31, 2023

Auteurs: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, Jitendra Malik

cs.AI

Résumé

Nous présentons une approche pour reconstruire des humains et les suivre dans le temps. Au cœur de notre méthode, nous proposons une version entièrement "transformérisée" d'un réseau pour la récupération de maillage humain. Ce réseau, HMR 2.0, repousse l'état de l'art et démontre la capacité à analyser des poses inhabituelles qui, par le passé, étaient difficiles à reconstruire à partir d'images uniques. Pour analyser des vidéos, nous utilisons les reconstructions 3D de HMR 2.0 comme entrée d'un système de suivi opérant en 3D. Cela nous permet de gérer plusieurs personnes et de maintenir les identités lors d'événements d'occlusion. Notre approche complète, 4DHumans, obtient des résultats de pointe pour le suivi de personnes à partir de vidéos monoculaires. Par ailleurs, nous démontrons l'efficacité de HMR 2.0 sur la tâche aval de reconnaissance d'actions, obtenant des améliorations significatives par rapport aux approches précédentes de reconnaissance d'actions basées sur la pose. Notre code et nos modèles sont disponibles sur le site du projet : https://shubham-goel.github.io/4dhumans/.

English

We present an approach to reconstruct humans and track them over time. At the core of our approach, we propose a fully "transformerized" version of a network for human mesh recovery. This network, HMR 2.0, advances the state of the art and shows the capability to analyze unusual poses that have in the past been difficult to reconstruct from single images. To analyze video, we use 3D reconstructions from HMR 2.0 as input to a tracking system that operates in 3D. This enables us to deal with multiple people and maintain identities through occlusion events. Our complete approach, 4DHumans, achieves state-of-the-art results for tracking people from monocular video. Furthermore, we demonstrate the effectiveness of HMR 2.0 on the downstream task of action recognition, achieving significant improvements over previous pose-based action recognition approaches. Our code and models are available on the project website: https://shubham-goel.github.io/4dhumans/.