Umani in 4D: Ricostruzione e Tracciamento di Esseri Umani con Trasformatori

Humans in 4D: Reconstructing and Tracking Humans with Transformers

May 31, 2023

Autori: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, Jitendra Malik

cs.AI

Abstract

Presentiamo un approccio per ricostruire esseri umani e tracciarli nel tempo. Al centro del nostro metodo, proponiamo una versione completamente "trasformata" di una rete per il recupero della mesh umana. Questa rete, HMR 2.0, avanza lo stato dell'arte e dimostra la capacità di analizzare pose insolite che in passato sono state difficili da ricostruire da immagini singole. Per analizzare video, utilizziamo le ricostruzioni 3D di HMR 2.0 come input per un sistema di tracciamento che opera in 3D. Ciò ci consente di gestire più persone e mantenere le identità durante eventi di occlusione. Il nostro approccio completo, 4DHumans, raggiunge risultati all'avanguardia per il tracciamento di persone da video monoculare. Inoltre, dimostriamo l'efficacia di HMR 2.0 nel compito successivo di riconoscimento delle azioni, ottenendo miglioramenti significativi rispetto ai precedenti approcci basati sulla postura per il riconoscimento delle azioni. Il nostro codice e i nostri modelli sono disponibili sul sito web del progetto: https://shubham-goel.github.io/4dhumans/.

English

We present an approach to reconstruct humans and track them over time. At the core of our approach, we propose a fully "transformerized" version of a network for human mesh recovery. This network, HMR 2.0, advances the state of the art and shows the capability to analyze unusual poses that have in the past been difficult to reconstruct from single images. To analyze video, we use 3D reconstructions from HMR 2.0 as input to a tracking system that operates in 3D. This enables us to deal with multiple people and maintain identities through occlusion events. Our complete approach, 4DHumans, achieves state-of-the-art results for tracking people from monocular video. Furthermore, we demonstrate the effectiveness of HMR 2.0 on the downstream task of action recognition, achieving significant improvements over previous pose-based action recognition approaches. Our code and models are available on the project website: https://shubham-goel.github.io/4dhumans/.