生体力学に正確な骨格を用いた人間の再構築

Reconstructing Humans with a Biomechanically Accurate Skeleton

March 27, 2025

著者: Yan Xia, Xiaowei Zhou, Etienne Vouga, Qixing Huang, Georgios Pavlakos

cs.AI

要旨

本論文では、生体力学的に正確な骨格モデルを用いて、単一画像から3D人体を再構築する手法を提案する。これを実現するため、画像を入力としてモデルのパラメータを推定するトランスフォーマーを学習させる。このタスクのための学習データが不足しているため、単一画像に対する擬似グラウンドトゥルースモデルパラメータを生成するパイプラインを構築し、これらの擬似ラベルを反復的に改善する学習手順を実装した。3D人体メッシュ復元の最先端手法と比較して、我々のモデルは標準ベンチマークで競争力のある性能を達成しつつ、極端な3Dポーズや視点の設定においてそれらを大幅に上回る。さらに、従来の再構築手法が関節角度の制限を頻繁に違反し、不自然な回転を引き起こすことを示す。対照的に、我々のアプローチは生体力学的に妥当な自由度を活用することで、より現実的な関節回転推定を実現する。複数の人体姿勢推定ベンチマークにおいて我々のアプローチを検証し、コード、モデル、データをhttps://isshikihugh.github.io/HSMR/で公開する。

English

In this paper, we introduce a method for reconstructing 3D humans from a single image using a biomechanically accurate skeleton model. To achieve this, we train a transformer that takes an image as input and estimates the parameters of the model. Due to the lack of training data for this task, we build a pipeline to produce pseudo ground truth model parameters for single images and implement a training procedure that iteratively refines these pseudo labels. Compared to state-of-the-art methods for 3D human mesh recovery, our model achieves competitive performance on standard benchmarks, while it significantly outperforms them in settings with extreme 3D poses and viewpoints. Additionally, we show that previous reconstruction methods frequently violate joint angle limits, leading to unnatural rotations. In contrast, our approach leverages the biomechanically plausible degrees of freedom making more realistic joint rotation estimates. We validate our approach across multiple human pose estimation benchmarks. We make the code, models and data available at: https://isshikihugh.github.io/HSMR/