생체역학적으로 정확한 골격 구조를 활용한 인간 재구성

Reconstructing Humans with a Biomechanically Accurate Skeleton

March 27, 2025

저자: Yan Xia, Xiaowei Zhou, Etienne Vouga, Qixing Huang, Georgios Pavlakos

cs.AI

초록

본 논문에서는 생체역학적으로 정확한 골격 모델을 사용하여 단일 이미지로부터 3D 인간을 재구성하는 방법을 소개합니다. 이를 위해, 이미지를 입력으로 받아 모델의 파라미터를 추정하는 트랜스포머를 학습시킵니다. 이 작업을 위한 학습 데이터가 부족한 문제를 해결하기 위해, 단일 이미지에 대한 가상의 정답(ground truth) 모델 파라미터를 생성하는 파이프라인을 구축하고, 이러한 가상 레이블을 반복적으로 개선하는 학습 절차를 구현합니다. 3D 인간 메쉬 복원을 위한 최신 방법들과 비교했을 때, 우리의 모델은 표준 벤치마크에서 경쟁력 있는 성능을 보이면서도, 극단적인 3D 자세와 시점 설정에서 이들을 크게 능가합니다. 또한, 기존의 재구성 방법들이 종종 관절 각도 제한을 위반하여 비자연스러운 회전을 초래하는 반면, 우리의 접근 방식은 생체역학적으로 타당한 자유도를 활용하여 더 현실적인 관절 회전 추정치를 제공합니다. 우리는 여러 인간 자세 추정 벤치마크를 통해 이 접근 방식을 검증합니다. 코드, 모델 및 데이터는 https://isshikihugh.github.io/HSMR/에서 공개합니다.

English

In this paper, we introduce a method for reconstructing 3D humans from a single image using a biomechanically accurate skeleton model. To achieve this, we train a transformer that takes an image as input and estimates the parameters of the model. Due to the lack of training data for this task, we build a pipeline to produce pseudo ground truth model parameters for single images and implement a training procedure that iteratively refines these pseudo labels. Compared to state-of-the-art methods for 3D human mesh recovery, our model achieves competitive performance on standard benchmarks, while it significantly outperforms them in settings with extreme 3D poses and viewpoints. Additionally, we show that previous reconstruction methods frequently violate joint angle limits, leading to unnatural rotations. In contrast, our approach leverages the biomechanically plausible degrees of freedom making more realistic joint rotation estimates. We validate our approach across multiple human pose estimation benchmarks. We make the code, models and data available at: https://isshikihugh.github.io/HSMR/