Reconstrucción de Humanos con un Esqueleto Biomecánicamente Preciso

Reconstructing Humans with a Biomechanically Accurate Skeleton

March 27, 2025

Autores: Yan Xia, Xiaowei Zhou, Etienne Vouga, Qixing Huang, Georgios Pavlakos

cs.AI

Resumen

En este artículo, presentamos un método para reconstruir humanos en 3D a partir de una sola imagen utilizando un modelo esquelético biomecánicamente preciso. Para lograrlo, entrenamos un transformador que toma una imagen como entrada y estima los parámetros del modelo. Debido a la falta de datos de entrenamiento para esta tarea, construimos una canalización para generar parámetros de modelo de pseudo-verdad básica para imágenes individuales e implementamos un procedimiento de entrenamiento que refina iterativamente estas etiquetas pseudo. En comparación con los métodos más avanzados para la recuperación de mallas humanas en 3D, nuestro modelo logra un rendimiento competitivo en puntos de referencia estándar, mientras que supera significativamente a estos en configuraciones con poses y puntos de vista 3D extremos. Además, demostramos que los métodos de reconstrucción anteriores frecuentemente violan los límites de ángulos articulares, lo que resulta en rotaciones antinaturales. En contraste, nuestro enfoque aprovecha los grados de libertad biomecánicamente plausibles, realizando estimaciones de rotación articular más realistas. Validamos nuestro enfoque en múltiples puntos de referencia de estimación de posturas humanas. Ponemos a disposición el código, los modelos y los datos en: https://isshikihugh.github.io/HSMR/

English

In this paper, we introduce a method for reconstructing 3D humans from a single image using a biomechanically accurate skeleton model. To achieve this, we train a transformer that takes an image as input and estimates the parameters of the model. Due to the lack of training data for this task, we build a pipeline to produce pseudo ground truth model parameters for single images and implement a training procedure that iteratively refines these pseudo labels. Compared to state-of-the-art methods for 3D human mesh recovery, our model achieves competitive performance on standard benchmarks, while it significantly outperforms them in settings with extreme 3D poses and viewpoints. Additionally, we show that previous reconstruction methods frequently violate joint angle limits, leading to unnatural rotations. In contrast, our approach leverages the biomechanically plausible degrees of freedom making more realistic joint rotation estimates. We validate our approach across multiple human pose estimation benchmarks. We make the code, models and data available at: https://isshikihugh.github.io/HSMR/