Learnable SMPLify: Нейронное решение для оптимизационно-свободной обратной кинематики позы человека

Learnable SMPLify: A Neural Solution for Optimization-Free Human Pose Inverse Kinematics

August 19, 2025

Авторы: Yuchen Yang, Linfeng Dong, Wei Wang, Zhihang Zhong, Xiao Sun

cs.AI

Аннотация

В задаче оценки позы и формы человека в 3D, SMPLify остается надежным базовым методом, решающим обратную кинематику (IK) с помощью итеративной оптимизации. Однако его высокая вычислительная стоимость ограничивает практическую применимость. Недавние достижения в различных областях показали, что замена итеративной оптимизации на нейронные сети, обученные на данных, может значительно улучшить время выполнения без потери точности. Вдохновленные этой тенденцией, мы предлагаем Learnable SMPLify — нейронную архитектуру, которая заменяет итеративный процесс подгонки в SMPLify на одношаговую регрессионную модель. Наша архитектура направлена на решение двух ключевых задач в нейронной IK: построение данных и обобщение. Для эффективного обучения мы предлагаем стратегию временной выборки, которая создает пары инициализация-цель из последовательных кадров. Для улучшения обобщения на разнообразные движения и неизвестные позы мы предлагаем схему нормализации, ориентированную на человека, и остаточное обучение для сужения пространства решений. Learnable SMPLify поддерживает как последовательный вывод, так и использование в качестве подключаемого пост-процессинга для уточнения существующих методов, основанных на изображениях. Эксперименты показывают, что наш метод становится практичным и простым базовым решением: он работает почти в 200 раз быстрее, чем SMPLify, хорошо обобщается на неизвестные данные 3DPW и RICH, а также работает в модельно-агностической манере при использовании в качестве подключаемого инструмента на LucidAction. Код доступен по адресу https://github.com/Charrrrrlie/Learnable-SMPLify.

English

In 3D human pose and shape estimation, SMPLify remains a robust baseline that solves inverse kinematics (IK) through iterative optimization. However, its high computational cost limits its practicality. Recent advances across domains have shown that replacing iterative optimization with data-driven neural networks can achieve significant runtime improvements without sacrificing accuracy. Motivated by this trend, we propose Learnable SMPLify, a neural framework that replaces the iterative fitting process in SMPLify with a single-pass regression model. The design of our framework targets two core challenges in neural IK: data construction and generalization. To enable effective training, we propose a temporal sampling strategy that constructs initialization-target pairs from sequential frames. To improve generalization across diverse motions and unseen poses, we propose a human-centric normalization scheme and residual learning to narrow the solution space. Learnable SMPLify supports both sequential inference and plug-in post-processing to refine existing image-based estimators. Extensive experiments demonstrate that our method establishes itself as a practical and simple baseline: it achieves nearly 200x faster runtime compared to SMPLify, generalizes well to unseen 3DPW and RICH, and operates in a model-agnostic manner when used as a plug-in tool on LucidAction. The code is available at https://github.com/Charrrrrlie/Learnable-SMPLify.