Humanos en 4D: Reconstrucción y Seguimiento de Personas con Transformers

Humans in 4D: Reconstructing and Tracking Humans with Transformers

May 31, 2023

Autores: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, Jitendra Malik

cs.AI

Resumen

Presentamos un enfoque para reconstruir humanos y rastrearlos a lo largo del tiempo. En el núcleo de nuestro enfoque, proponemos una versión completamente "transformada" de una red para la recuperación de mallas humanas. Esta red, HMR 2.0, avanza el estado del arte y muestra la capacidad de analizar poses inusuales que en el pasado han sido difíciles de reconstruir a partir de imágenes individuales. Para analizar video, utilizamos reconstrucciones 3D de HMR 2.0 como entrada a un sistema de seguimiento que opera en 3D. Esto nos permite manejar múltiples personas y mantener identidades a través de eventos de oclusión. Nuestro enfoque completo, 4DHumans, logra resultados de vanguardia en el seguimiento de personas a partir de video monocular. Además, demostramos la efectividad de HMR 2.0 en la tarea secundaria de reconocimiento de acciones, logrando mejoras significativas sobre enfoques previos de reconocimiento de acciones basados en poses. Nuestro código y modelos están disponibles en el sitio web del proyecto: https://shubham-goel.github.io/4dhumans/.

English

We present an approach to reconstruct humans and track them over time. At the core of our approach, we propose a fully "transformerized" version of a network for human mesh recovery. This network, HMR 2.0, advances the state of the art and shows the capability to analyze unusual poses that have in the past been difficult to reconstruct from single images. To analyze video, we use 3D reconstructions from HMR 2.0 as input to a tracking system that operates in 3D. This enables us to deal with multiple people and maintain identities through occlusion events. Our complete approach, 4DHumans, achieves state-of-the-art results for tracking people from monocular video. Furthermore, we demonstrate the effectiveness of HMR 2.0 on the downstream task of action recognition, achieving significant improvements over previous pose-based action recognition approaches. Our code and models are available on the project website: https://shubham-goel.github.io/4dhumans/.