Reconstruction d'humains avec un squelette biomécaniquement précis

Reconstructing Humans with a Biomechanically Accurate Skeleton

March 27, 2025

Auteurs: Yan Xia, Xiaowei Zhou, Etienne Vouga, Qixing Huang, Georgios Pavlakos

cs.AI

Résumé

Dans cet article, nous présentons une méthode pour reconstruire des humains en 3D à partir d'une seule image en utilisant un modèle de squelette biomécaniquement précis. Pour y parvenir, nous entraînons un transformateur qui prend une image en entrée et estime les paramètres du modèle. En raison du manque de données d'entraînement pour cette tâche, nous construisons un pipeline pour produire des paramètres de modèle pseudo ground truth pour des images uniques et mettons en œuvre une procédure d'entraînement qui affine itérativement ces pseudo-labels. Par rapport aux méthodes de pointe pour la récupération de maillages humains en 3D, notre modèle obtient des performances compétitives sur des benchmarks standard, tout en les surpassant significativement dans des configurations avec des poses et des points de vue 3D extrêmes. De plus, nous montrons que les méthodes de reconstruction précédentes violent fréquemment les limites d'angle des articulations, conduisant à des rotations non naturelles. En revanche, notre approche exploite les degrés de liberté biomécaniquement plausibles, permettant des estimations de rotation articulaire plus réalistes. Nous validons notre approche sur plusieurs benchmarks d'estimation de pose humaine. Nous mettons le code, les modèles et les données à disposition à l'adresse suivante : https://isshikihugh.github.io/HSMR/

English

In this paper, we introduce a method for reconstructing 3D humans from a single image using a biomechanically accurate skeleton model. To achieve this, we train a transformer that takes an image as input and estimates the parameters of the model. Due to the lack of training data for this task, we build a pipeline to produce pseudo ground truth model parameters for single images and implement a training procedure that iteratively refines these pseudo labels. Compared to state-of-the-art methods for 3D human mesh recovery, our model achieves competitive performance on standard benchmarks, while it significantly outperforms them in settings with extreme 3D poses and viewpoints. Additionally, we show that previous reconstruction methods frequently violate joint angle limits, leading to unnatural rotations. In contrast, our approach leverages the biomechanically plausible degrees of freedom making more realistic joint rotation estimates. We validate our approach across multiple human pose estimation benchmarks. We make the code, models and data available at: https://isshikihugh.github.io/HSMR/