Reconstruindo Humanos com um Esqueleto Biomecanicamente Preciso

Reconstructing Humans with a Biomechanically Accurate Skeleton

March 27, 2025

Autores: Yan Xia, Xiaowei Zhou, Etienne Vouga, Qixing Huang, Georgios Pavlakos

cs.AI

Resumo

Neste artigo, apresentamos um método para reconstruir humanos em 3D a partir de uma única imagem utilizando um modelo esquelético biomecanicamente preciso. Para isso, treinamos um transformer que recebe uma imagem como entrada e estima os parâmetros do modelo. Devido à escassez de dados de treinamento para essa tarefa, construímos um pipeline para gerar parâmetros de modelo pseudo ground truth para imagens únicas e implementamos um procedimento de treinamento que refina iterativamente esses rótulos pseudo. Em comparação com os métodos state-of-the-art para recuperação de malha humana em 3D, nosso modelo alcança desempenho competitivo em benchmarks padrão, enquanto supera significativamente esses métodos em cenários com poses e pontos de vista extremos em 3D. Além disso, mostramos que métodos anteriores de reconstrução frequentemente violam os limites de ângulo das articulações, resultando em rotações não naturais. Em contraste, nossa abordagem aproveita os graus de liberdade biomecanicamente plausíveis, produzindo estimativas de rotação das articulações mais realistas. Validamos nossa abordagem em múltiplos benchmarks de estimativa de pose humana. Disponibilizamos o código, modelos e dados em: https://isshikihugh.github.io/HSMR/

English

In this paper, we introduce a method for reconstructing 3D humans from a single image using a biomechanically accurate skeleton model. To achieve this, we train a transformer that takes an image as input and estimates the parameters of the model. Due to the lack of training data for this task, we build a pipeline to produce pseudo ground truth model parameters for single images and implement a training procedure that iteratively refines these pseudo labels. Compared to state-of-the-art methods for 3D human mesh recovery, our model achieves competitive performance on standard benchmarks, while it significantly outperforms them in settings with extreme 3D poses and viewpoints. Additionally, we show that previous reconstruction methods frequently violate joint angle limits, leading to unnatural rotations. In contrast, our approach leverages the biomechanically plausible degrees of freedom making more realistic joint rotation estimates. We validate our approach across multiple human pose estimation benchmarks. We make the code, models and data available at: https://isshikihugh.github.io/HSMR/