Learnable SMPLify: Eine neuronale Lösung für optimierungsfreie inverse Kinematik der menschlichen Pose

Learnable SMPLify: A Neural Solution for Optimization-Free Human Pose Inverse Kinematics

August 19, 2025

papers.authors: Yuchen Yang, Linfeng Dong, Wei Wang, Zhihang Zhong, Xiao Sun

cs.AI

papers.abstract

In der 3D-Schätzung von menschlicher Pose und Form bleibt SMPLify eine robuste Baseline, die inverse Kinematik (IK) durch iterative Optimierung löst. Allerdings begrenzen die hohen Rechenkosten seine Praktikabilität. Jüngste Fortschritte in verschiedenen Domänen haben gezeigt, dass der Ersatz iterativer Optimierung durch datengetriebene neuronale Netzwerke erhebliche Laufzeitverbesserungen ohne Genauigkeitsverluste erreichen kann. Motiviert durch diesen Trend schlagen wir Learnable SMPLify vor, ein neuronales Framework, das den iterativen Anpassungsprozess in SMPLify durch ein Einzel-Durchlauf-Regressionsmodell ersetzt. Das Design unseres Frameworks zielt auf zwei Kernherausforderungen in der neuronalen IK ab: Datenkonstruktion und Generalisierung. Um effektives Training zu ermöglichen, schlagen wir eine zeitliche Sampling-Strategie vor, die Initialisierungs-Ziel-Paare aus sequenziellen Frames konstruiert. Um die Generalisierung über diverse Bewegungen und ungesehene Posen zu verbessern, schlagen wir ein humanzentriertes Normalisierungsschema und Restlernen vor, um den Lösungsraum einzugrenzen. Learnable SMPLify unterstützt sowohl sequenzielle Inferenz als auch Plug-in-Nachverarbeitung, um bestehende bildbasierte Schätzer zu verfeinern. Umfangreiche Experimente zeigen, dass unsere Methode sich als praktische und einfache Baseline etabliert: Sie erreicht eine fast 200-fach schnellere Laufzeit im Vergleich zu SMPLify, generalisiert gut auf ungesehene 3DPW- und RICH-Datensätze und arbeitet in einer modellagnostischen Weise, wenn sie als Plug-in-Tool auf LucidAction verwendet wird. Der Code ist verfügbar unter https://github.com/Charrrrrlie/Learnable-SMPLify.

English

In 3D human pose and shape estimation, SMPLify remains a robust baseline that solves inverse kinematics (IK) through iterative optimization. However, its high computational cost limits its practicality. Recent advances across domains have shown that replacing iterative optimization with data-driven neural networks can achieve significant runtime improvements without sacrificing accuracy. Motivated by this trend, we propose Learnable SMPLify, a neural framework that replaces the iterative fitting process in SMPLify with a single-pass regression model. The design of our framework targets two core challenges in neural IK: data construction and generalization. To enable effective training, we propose a temporal sampling strategy that constructs initialization-target pairs from sequential frames. To improve generalization across diverse motions and unseen poses, we propose a human-centric normalization scheme and residual learning to narrow the solution space. Learnable SMPLify supports both sequential inference and plug-in post-processing to refine existing image-based estimators. Extensive experiments demonstrate that our method establishes itself as a practical and simple baseline: it achieves nearly 200x faster runtime compared to SMPLify, generalizes well to unseen 3DPW and RICH, and operates in a model-agnostic manner when used as a plug-in tool on LucidAction. The code is available at https://github.com/Charrrrrlie/Learnable-SMPLify.