ETCH: Generalisatie van lichaamsaanpassing naar geklede mensen via equivariante pasvorm

ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness

March 13, 2025

Auteurs: Boqian Li, Haiwen Feng, Zeyu Cai, Michael J. Black, Yuliang Xiu

cs.AI

Samenvatting

Het aanpassen van een lichaam aan een 3D-geklede menselijke puntenwolk is een veelvoorkomende maar uitdagende taak. Traditionele optimalisatiegebaseerde benaderingen gebruiken meerfasige pijplijnen die gevoelig zijn voor pose-initialisatie, terwijl recente leer-gebaseerde methoden vaak moeite hebben met generalisatie over diverse poses en kledingtypes. Wij stellen Equivariant Tightness Fitting for Clothed Humans, oftewel ETCH, voor, een nieuwe pijplijn die de mapping van kleding naar lichaamsoppervlak schat door middel van lokaal benaderde SE(3)-equivariantie, waarbij strakheid wordt gecodeerd als verplaatsingsvectoren van het kledingoppervlak naar het onderliggende lichaam. Na deze mapping regresseren pose-invariante lichaamskenmerken spaarzame lichaamsmarkers, wat het aanpassen van geklede mensen vereenvoudigt tot een taak van het aanpassen van innerlijke lichaamsmarkers. Uitgebreide experimenten op CAPE en 4D-Dress laten zien dat ETCH aanzienlijk beter presteert dan state-of-the-art methoden — zowel strakheidsonafhankelijke als strakheidsbewuste — in nauwkeurigheid van lichaamsaanpassing bij losse kleding (16,7% ~ 69,5%) en vormnauwkeurigheid (gemiddeld 49,9%). Ons equivariant strakheidsontwerp kan zelfs richtingsfouten verminderen met (67,2% ~ 89,8%) in one-shot (of out-of-distribution) instellingen. Kwalitatieve resultaten tonen een sterke generalisatie van ETCH, ongeacht uitdagende poses, onbekende vormen, losse kleding en niet-rigide dynamiek. Wij zullen binnenkort de code en modellen vrijgeven voor onderzoeksdoeleinden op https://boqian-li.github.io/ETCH/.

English

Fitting a body to a 3D clothed human point cloud is a common yet challenging task. Traditional optimization-based approaches use multi-stage pipelines that are sensitive to pose initialization, while recent learning-based methods often struggle with generalization across diverse poses and garment types. We propose Equivariant Tightness Fitting for Clothed Humans, or ETCH, a novel pipeline that estimates cloth-to-body surface mapping through locally approximate SE(3) equivariance, encoding tightness as displacement vectors from the cloth surface to the underlying body. Following this mapping, pose-invariant body features regress sparse body markers, simplifying clothed human fitting into an inner-body marker fitting task. Extensive experiments on CAPE and 4D-Dress show that ETCH significantly outperforms state-of-the-art methods -- both tightness-agnostic and tightness-aware -- in body fitting accuracy on loose clothing (16.7% ~ 69.5%) and shape accuracy (average 49.9%). Our equivariant tightness design can even reduce directional errors by (67.2% ~ 89.8%) in one-shot (or out-of-distribution) settings. Qualitative results demonstrate strong generalization of ETCH, regardless of challenging poses, unseen shapes, loose clothing, and non-rigid dynamics. We will release the code and models soon for research purposes at https://boqian-li.github.io/ETCH/.