ETCH : Généralisation de l'ajustement corporel aux humains vêtus via l'équivariance de la justesse

ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness

March 13, 2025

Auteurs: Boqian Li, Haiwen Feng, Zeyu Cai, Michael J. Black, Yuliang Xiu

cs.AI

Résumé

L'ajustement d'un corps à un nuage de points 3D d'un humain vêtu est une tâche courante mais complexe. Les approches traditionnelles basées sur l'optimisation utilisent des pipelines multi-étapes sensibles à l'initialisation de la pose, tandis que les méthodes récentes basées sur l'apprentissage peinent souvent à généraliser à travers des poses et des types de vêtements variés. Nous proposons Equivariant Tightness Fitting for Clothed Humans, ou ETCH, un nouveau pipeline qui estime la correspondance entre la surface du vêtement et celle du corps grâce à une équivariance locale approximative SE(3), encodant la tension sous forme de vecteurs de déplacement de la surface du vêtement vers le corps sous-jacent. Suite à cette correspondance, des caractéristiques invariantes à la pose du corps régressent des marqueurs corporels épars, simplifiant ainsi l'ajustement d'un humain vêtu en une tâche d'ajustement de marqueurs internes au corps. Des expériences approfondies sur CAPE et 4D-Dress montrent que ETCH surpasse significativement les méthodes de pointe — qu'elles soient agnostiques à la tension ou conscientes de celle-ci — en termes de précision d'ajustement du corps pour les vêtements amples (16,7 % ~ 69,5 %) et de précision de la forme (en moyenne 49,9 %). Notre conception de tension équivariante peut même réduire les erreurs directionnelles de (67,2 % ~ 89,8 %) dans des configurations en une seule passe (ou hors distribution). Les résultats qualitatifs démontrent une forte généralisation de ETCH, indépendamment des poses difficiles, des formes inédites, des vêtements amples et des dynamiques non rigides. Nous publierons bientôt le code et les modèles à des fins de recherche sur https://boqian-li.github.io/ETCH/.

English

Fitting a body to a 3D clothed human point cloud is a common yet challenging task. Traditional optimization-based approaches use multi-stage pipelines that are sensitive to pose initialization, while recent learning-based methods often struggle with generalization across diverse poses and garment types. We propose Equivariant Tightness Fitting for Clothed Humans, or ETCH, a novel pipeline that estimates cloth-to-body surface mapping through locally approximate SE(3) equivariance, encoding tightness as displacement vectors from the cloth surface to the underlying body. Following this mapping, pose-invariant body features regress sparse body markers, simplifying clothed human fitting into an inner-body marker fitting task. Extensive experiments on CAPE and 4D-Dress show that ETCH significantly outperforms state-of-the-art methods -- both tightness-agnostic and tightness-aware -- in body fitting accuracy on loose clothing (16.7% ~ 69.5%) and shape accuracy (average 49.9%). Our equivariant tightness design can even reduce directional errors by (67.2% ~ 89.8%) in one-shot (or out-of-distribution) settings. Qualitative results demonstrate strong generalization of ETCH, regardless of challenging poses, unseen shapes, loose clothing, and non-rigid dynamics. We will release the code and models soon for research purposes at https://boqian-li.github.io/ETCH/.