Люди в 4D: Реконструкция и отслеживание людей с использованием трансформеров

Humans in 4D: Reconstructing and Tracking Humans with Transformers

May 31, 2023

Авторы: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, Jitendra Malik

cs.AI

Аннотация

Мы представляем подход для реконструкции людей и их отслеживания во времени. В основе нашего подхода лежит полностью "трансформеризованная" версия сети для восстановления человеческого меша. Эта сеть, HMR 2.0, продвигает состояние искусства и демонстрирует способность анализировать необычные позы, которые ранее было сложно восстановить из одиночных изображений. Для анализа видео мы используем 3D-реконструкции, полученные с помощью HMR 2.0, в качестве входных данных для системы отслеживания, работающей в 3D. Это позволяет нам работать с несколькими людьми и сохранять их идентичность в случаях окклюзии. Наш полный подход, 4DHumans, достигает передовых результатов в отслеживании людей по моноскопическому видео. Кроме того, мы демонстрируем эффективность HMR 2.0 в задаче распознавания действий, достигая значительных улучшений по сравнению с предыдущими подходами, основанными на позах. Наш код и модели доступны на сайте проекта: https://shubham-goel.github.io/4dhumans/.

English

We present an approach to reconstruct humans and track them over time. At the core of our approach, we propose a fully "transformerized" version of a network for human mesh recovery. This network, HMR 2.0, advances the state of the art and shows the capability to analyze unusual poses that have in the past been difficult to reconstruct from single images. To analyze video, we use 3D reconstructions from HMR 2.0 as input to a tracking system that operates in 3D. This enables us to deal with multiple people and maintain identities through occlusion events. Our complete approach, 4DHumans, achieves state-of-the-art results for tracking people from monocular video. Furthermore, we demonstrate the effectiveness of HMR 2.0 on the downstream task of action recognition, achieving significant improvements over previous pose-based action recognition approaches. Our code and models are available on the project website: https://shubham-goel.github.io/4dhumans/.