4D 인간: 트랜스포머를 활용한 인간의 재구성 및 추적

초록

우리는 시간에 걸쳐 인간을 재구성하고 추적하는 접근 방식을 제시합니다. 우리 접근법의 핵심은 인간 메쉬 복구를 위한 네트워크의 완전히 "트랜스포머화(transformerized)"된 버전을 제안하는 것입니다. 이 네트워크인 HMR 2.0은 최신 기술을 발전시키고, 과거 단일 이미지로부터 재구성하기 어려웠던 비정형 자세를 분석할 수 있는 능력을 보여줍니다. 비디오를 분석하기 위해, 우리는 HMR 2.0의 3D 재구성 결과를 3D에서 작동하는 추적 시스템의 입력으로 사용합니다. 이를 통해 여러 사람을 처리하고, 가림 현상이 발생해도 신원을 유지할 수 있습니다. 우리의 완전한 접근 방식인 4DHumans는 단안 비디오에서 사람을 추적하는 데 있어 최신 기술을 달성합니다. 또한, 우리는 HMR 2.0이 동작 인식이라는 하위 작업에서의 효과를 입증하며, 이전의 자세 기반 동작 인식 접근법에 비해 상당한 개선을 이루었습니다. 우리의 코드와 모델은 프로젝트 웹사이트(https://shubham-goel.github.io/4dhumans/)에서 확인할 수 있습니다.

English

We present an approach to reconstruct humans and track them over time. At the core of our approach, we propose a fully "transformerized" version of a network for human mesh recovery. This network, HMR 2.0, advances the state of the art and shows the capability to analyze unusual poses that have in the past been difficult to reconstruct from single images. To analyze video, we use 3D reconstructions from HMR 2.0 as input to a tracking system that operates in 3D. This enables us to deal with multiple people and maintain identities through occlusion events. Our complete approach, 4DHumans, achieves state-of-the-art results for tracking people from monocular video. Furthermore, we demonstrate the effectiveness of HMR 2.0 on the downstream task of action recognition, achieving significant improvements over previous pose-based action recognition approaches. Our code and models are available on the project website: https://shubham-goel.github.io/4dhumans/.

4D 인간: 트랜스포머를 활용한 인간의 재구성 및 추적

Humans in 4D: Reconstructing and Tracking Humans with Transformers

초록

Support