4Dにおける人間：トランスフォーマーを用いた人間の再構築と追跡

要旨

我々は、人間の再構築と時間経過に伴う追跡を行うアプローチを提案する。本アプローチの中核として、人間のメッシュ復元のためのネットワークを完全に「トランスフォーマー化」したバージョンを提示する。このネットワーク、HMR 2.0は、最先端の技術を進化させ、単一画像から過去に再構築が困難であった異常なポーズを分析する能力を示す。ビデオを分析するために、HMR 2.0からの3D再構築を3Dで動作する追跡システムへの入力として使用する。これにより、複数の人物を扱い、オクルージョンイベントを通じて同一性を維持することが可能となる。我々の完全なアプローチ、4DHumansは、単眼ビデオからの人物追跡において最先端の結果を達成する。さらに、HMR 2.0の有効性を、行動認識という下流タスクにおいて実証し、従来のポーズベースの行動認識アプローチを大幅に改善する。我々のコードとモデルは、プロジェクトウェブサイト（https://shubham-goel.github.io/4dhumans/）で公開されている。

English

We present an approach to reconstruct humans and track them over time. At the core of our approach, we propose a fully "transformerized" version of a network for human mesh recovery. This network, HMR 2.0, advances the state of the art and shows the capability to analyze unusual poses that have in the past been difficult to reconstruct from single images. To analyze video, we use 3D reconstructions from HMR 2.0 as input to a tracking system that operates in 3D. This enables us to deal with multiple people and maintain identities through occlusion events. Our complete approach, 4DHumans, achieves state-of-the-art results for tracking people from monocular video. Furthermore, we demonstrate the effectiveness of HMR 2.0 on the downstream task of action recognition, achieving significant improvements over previous pose-based action recognition approaches. Our code and models are available on the project website: https://shubham-goel.github.io/4dhumans/.

4Dにおける人間：トランスフォーマーを用いた人間の再構築と追跡

Humans in 4D: Reconstructing and Tracking Humans with Transformers

要旨

Support