Mensen reconstrueren met een biomechanisch nauwkeurig skelet

Reconstructing Humans with a Biomechanically Accurate Skeleton

March 27, 2025

Auteurs: Yan Xia, Xiaowei Zhou, Etienne Vouga, Qixing Huang, Georgios Pavlakos

cs.AI

Samenvatting

In dit artikel introduceren we een methode voor het reconstrueren van 3D-menselijke modellen vanuit een enkele afbeelding met behulp van een biomechanisch nauwkeurig skeletmodel. Om dit te bereiken, trainen we een transformer die een afbeelding als invoer neemt en de parameters van het model schat. Vanwege het gebrek aan trainingsdata voor deze taak, bouwen we een pijplijn om pseudo-ground-truth-modelparameters voor enkele afbeeldingen te genereren en implementeren we een trainingsprocedure die deze pseudo-labels iteratief verfijnt. Vergeleken met state-of-the-art methoden voor het herstellen van 3D-menselijke meshes, behaalt ons model competitieve prestaties op standaard benchmarks, terwijl het hen aanzienlijk overtreft in situaties met extreme 3D-poses en gezichtspunten. Daarnaast tonen we aan dat eerdere reconstructiemethoden vaak de gewrichtshoeklimieten schenden, wat leidt tot onnatuurlijke rotaties. In tegenstelling hiermee maakt onze aanpak gebruik van biomechanisch plausibele bewegingsvrijheden, waardoor realistischere schattingen van gewrichtsrotaties worden gemaakt. We valideren onze aanpak op meerdere benchmarks voor menselijke pose-estimatie. We maken de code, modellen en data beschikbaar op: https://isshikihugh.github.io/HSMR/

English

In this paper, we introduce a method for reconstructing 3D humans from a single image using a biomechanically accurate skeleton model. To achieve this, we train a transformer that takes an image as input and estimates the parameters of the model. Due to the lack of training data for this task, we build a pipeline to produce pseudo ground truth model parameters for single images and implement a training procedure that iteratively refines these pseudo labels. Compared to state-of-the-art methods for 3D human mesh recovery, our model achieves competitive performance on standard benchmarks, while it significantly outperforms them in settings with extreme 3D poses and viewpoints. Additionally, we show that previous reconstruction methods frequently violate joint angle limits, leading to unnatural rotations. In contrast, our approach leverages the biomechanically plausible degrees of freedom making more realistic joint rotation estimates. We validate our approach across multiple human pose estimation benchmarks. We make the code, models and data available at: https://isshikihugh.github.io/HSMR/