Rekonstruktion von Menschen mit einem biomechanisch präzisen Skelett

Reconstructing Humans with a Biomechanically Accurate Skeleton

March 27, 2025

Autoren: Yan Xia, Xiaowei Zhou, Etienne Vouga, Qixing Huang, Georgios Pavlakos

cs.AI

Zusammenfassung

In diesem Artikel stellen wir eine Methode zur Rekonstruktion von 3D-Menschen aus einem einzelnen Bild unter Verwendung eines biomechanisch präzisen Skelettmodells vor. Um dies zu erreichen, trainieren wir einen Transformer, der ein Bild als Eingabe verwendet und die Parameter des Modells schätzt. Aufgrund des Mangels an Trainingsdaten für diese Aufgabe entwickeln wir eine Pipeline, um pseudo-Ground-Truth-Modellparameter für einzelne Bilder zu erzeugen, und implementieren ein Trainingsverfahren, das diese Pseudo-Labels iterativ verfeinert. Im Vergleich zu state-of-the-art Methoden zur Wiederherstellung von 3D-Menschmodellen erzielt unser Modell eine wettbewerbsfähige Leistung auf Standard-Benchmarks, während es in Szenarien mit extremen 3D-Posen und Blickwinkeln deutlich besser abschneidet. Zusätzlich zeigen wir, dass frühere Rekonstruktionsmethoden häufig Gelenkwinkelgrenzen verletzen, was zu unnatürlichen Rotationen führt. Im Gegensatz dazu nutzt unser Ansatz die biomechanisch plausiblen Freiheitsgrade, um realistischere Gelenkrotationsschätzungen zu ermöglichen. Wir validieren unseren Ansatz über mehrere Benchmarks zur menschlichen Pose-Schätzung. Den Code, die Modelle und die Daten stellen wir unter https://isshikihugh.github.io/HSMR/ zur Verfügung.

English

In this paper, we introduce a method for reconstructing 3D humans from a single image using a biomechanically accurate skeleton model. To achieve this, we train a transformer that takes an image as input and estimates the parameters of the model. Due to the lack of training data for this task, we build a pipeline to produce pseudo ground truth model parameters for single images and implement a training procedure that iteratively refines these pseudo labels. Compared to state-of-the-art methods for 3D human mesh recovery, our model achieves competitive performance on standard benchmarks, while it significantly outperforms them in settings with extreme 3D poses and viewpoints. Additionally, we show that previous reconstruction methods frequently violate joint angle limits, leading to unnatural rotations. In contrast, our approach leverages the biomechanically plausible degrees of freedom making more realistic joint rotation estimates. We validate our approach across multiple human pose estimation benchmarks. We make the code, models and data available at: https://isshikihugh.github.io/HSMR/