Воссоздание человека с биомеханически точным скелетом

Reconstructing Humans with a Biomechanically Accurate Skeleton

March 27, 2025

Авторы: Yan Xia, Xiaowei Zhou, Etienne Vouga, Qixing Huang, Georgios Pavlakos

cs.AI

Аннотация

В данной статье мы представляем метод реконструкции трехмерных моделей человека из одного изображения с использованием биомеханически точной модели скелета. Для этого мы обучаем трансформер, который принимает изображение на вход и оценивает параметры модели. Из-за недостатка обучающих данных для этой задачи мы создаем конвейер для генерации псевдоистинных параметров модели для отдельных изображений и реализуем процедуру обучения, которая итеративно уточняет эти псевдоистинные метки. По сравнению с современными методами восстановления трехмерной сетки человека, наша модель демонстрирует конкурентоспособные результаты на стандартных тестовых наборах данных, при этом значительно превосходя их в условиях экстремальных трехмерных поз и ракурсов. Кроме того, мы показываем, что предыдущие методы реконструкции часто нарушают ограничения углов суставов, что приводит к неестественным вращениям. В отличие от этого, наш подход использует биомеханически правдоподобные степени свободы, что позволяет получать более реалистичные оценки вращения суставов. Мы проверяем наш подход на нескольких наборах данных для оценки позы человека. Код, модели и данные доступны по адресу: https://isshikihugh.github.io/HSMR/

English

In this paper, we introduce a method for reconstructing 3D humans from a single image using a biomechanically accurate skeleton model. To achieve this, we train a transformer that takes an image as input and estimates the parameters of the model. Due to the lack of training data for this task, we build a pipeline to produce pseudo ground truth model parameters for single images and implement a training procedure that iteratively refines these pseudo labels. Compared to state-of-the-art methods for 3D human mesh recovery, our model achieves competitive performance on standard benchmarks, while it significantly outperforms them in settings with extreme 3D poses and viewpoints. Additionally, we show that previous reconstruction methods frequently violate joint angle limits, leading to unnatural rotations. In contrast, our approach leverages the biomechanically plausible degrees of freedom making more realistic joint rotation estimates. We validate our approach across multiple human pose estimation benchmarks. We make the code, models and data available at: https://isshikihugh.github.io/HSMR/